Hindsight Experience Replay(HER)技术

最新推荐文章于 2025-04-02 11:19:44 发布
最新推荐文章于 2025-04-02 11:19:44 发布
阅读量4.4k 收藏 48
点赞数 8
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43145941/article/details/119219436
版权
本文介绍了Hindsight Experience Replay(HER)技术，用于解决强化学习中的稀疏奖励问题。HER通过在错误尝试中学习，将未达成的目标视为成功的状态，从而促进学习过程。文章详细阐述了HER的核心思想、实现方法、如何选取新目标进行经验回放，以及在单目标和多目标RL中的应用，并提供了HER的伪代码和DDPG-HER的代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文
事后经验回放（HER）算法详解
qq_42568323的博客
12-24 1029
事后经验回放（Hindsight Experience Replay，HER）是一种强化学习（RL）算法，旨在解决稀疏奖励问题，尤其是在目标导向任务中。当任务中目标难以实现时，传统的强化学习算法通常需要大量的交互才能获得足够的反馈（奖励）。而HER通过回放失败的经验，使用这些经验中的最终状态作为目标，重新训练模型，使得每次失败都能为模型学习提供有效信息。HER的核心思想是通过利用失败的经验来进行再训练，从而增强模型对失败情况的理解，并将其转化为有用的学习信号。
Hindsight Experience Replay(HER) 阅读总结笔记
Youtian_的博客
09-12 1876
Hindsight Experience Replay 阅读总结笔记Hindsight Experience Replay(HER) 阅读总结笔记解决了什么问题算法核心3.还有一个更大的问题，就是，这个算法的后期给我的感觉应该是没有什么太大效果的，从上图中可以看到，后期平均回报大幅下降，甚至接近最低回报奖励了，这让我不得不怀疑，后期算法是不是就没有效果了，因为，算法中给很多中间态增加了奖励，这样，即便是都采用随机策略，得到的平均奖励肯定也会更高。欢迎大家在下方留言讨论，希望您不吝赐教。 Hindsight
Hindsight Experience Replay
ynsshzwxhzyx的博客
03-09 2733
https://arxiv.org/pdf/1707.01495.pdfOpenAI在利用增强学习训练人工智能系统任务上不断地取得进步。他们发布的新平台显示，可以允许人工智能系统从错误中吸取教训，并将错误视为系统的目标而非失败。失败是成功之母：HER有自我审视能力最近几个月，OpenAI的研究人员集中精力于构建具有更强的学习能力的人工智能。得益于他们的增强学习系统OpenAI baselines，...
强化学习事后经验回放Hindsight Experience Replay
最新发布
sjtu_wyy的博客
04-02 899
目标重标记（Goal Relabeling）**将失败经验转化为有效训练数据，显著提升样本效率。Hindsight Experience Replay（HER）是强化学习中解决**稀疏奖励（Sparse Reward），将稀疏奖励问题转化为密集奖励问题，是解决复杂环境探索难题的高效方法。：采用DQN的标准双网络设计（在线网络+目标网络）来稳定训练。将原始经验和新生成的经验共同用于训练，使智能体学习。”，这一思想在机器人控制、游戏AI等领域广泛应用。智能体与环境交互，存储经验元组。，同时解决稀疏奖励问题。
什么是HER（Handsight Experience Replay）
qq_40519226的博客
12-31 1914
记录HER算法的核心内容。motivation：为了解决反馈稀疏的问题，修改目标，从而使有效回报数量变多 问题formulation: 稀疏奖励的情况
HER（Hindsight Experience Replay) 伪代码理解
YHKKun的博客
04-03 2549
HER 算法的核心思想是，即使在没有达到原始目标的情况下，也可以从失败的经历中学习到如何实现其他可能的目标。通过将当前经历与不同目标关联起来，算法可以更有效地利用回放缓冲区中的数据，从而提高学习效率。HER 是一种用于目标条件强化学习的算法，它通过重用失败的经验来解决稀疏奖励问题。
强化学习反馈稀疏问题-HindSight Experience Replay原理及实现！
abcdefg90876的博客
12-17 782
在强化学习中，反馈稀疏是一个比较常见同时令人头疼的问题。因为我们大部分情况下都无法得到有效的反馈，模型难以得到有效的学习。为了解决反馈稀疏的问题，一种常用的做法是为Agent增加一些内在的目标使反馈变的不再稀疏。 本文将介绍一种修改目标，使有效回报数量变多的方法。该方法称为Hindsight Experience Replay，简称HER，论文下载地址为：https://arxiv.org/abs...
Hindsight Experience Replay (HER) 算法
C7211BA的博客
12-27 1329
Hindsight Experience Replay (HER) 是一种强化学习中的技术，旨在解决稀疏奖励问题，特别适用于目标导向的任务（例如机器人控制、物体抓取等）。它的基本思想是：即使在一个回合中任务失败，我们仍然可以从中获得有效的学习经验，通过“事后推断”（hindsight）来重构目标和奖励。Hindsight Experience Replay (HER) 是一种通过重放“失败经验”并从中提取有效的学习信号来提高强化学习代理效率的技术。
hindsight-experience-replay:这是Hindsight Experience Replay（HER）的pytorch实施-在所有提取机器人环境中进行实验
05-27
后视体验重播（HER） 这是的pytorch实现。 致谢： 要求 python = 3.5.2 openai-gym = 0.12.5（支持mujoco200，但您需要使用Gym> = 0.12.5，它在以前的版本中有一个错误。） mujoco-py = 1.50.1.56（ 请使用此版本...
Hindsight Experience Replay.pdf
09-02
Hindsight Experience Replay（HER）是一种深度强化学习技术，用于解决稀疏奖励情况下的学习问题。在强化学习中，智能体通过与环境交互以获得奖励，并根据奖励信号优化其行为策略。然而，当环境提供的奖励非常稀少...
Modular_HER:Modular-HER是从OpenAI基线修订而来，并支持将Hindsight Experience Replay作为模块进行许多改进
05-27
Modular-HER是从OpenAI基准修订而来的，并支持Hindsight Experience Replay（HER）作为模块的许多改进。 我们旨在为多目标强化学习提供更具模块化，可读性和简洁性的软件包。 欢迎大家贡献意见或代码！ 职能 DDPG...
Hindsight Experience Replay 使用指南
gitblog_00621的博客
08-25 1032
Hindsight Experience Replay 使用指南 hindsight-experience-replayThis is the pytorch implementation of Hindsight Experience Replay (HER) - Experiment on all fetch robotic environments.项目地址:https://gitcode...
hindsight_experience_replay：后视经验重播的张量流实现
02-04
hindsight_experience_replay：后视经验重播的张量流实现
deep-reinforcement-learning_DDQN_PPO_HER:适用于OpenAI的Gym游戏的MLP框架（纯numpy）和DDQN框架。 +添加了PPO的测试代码。 + Hindsight Experience Replay（HER）bitflip-DQN示例。 +优先重播
05-17
游戏中的深度强化学习 适用于OpenAI的健身游戏环境的MLP框架和DDQN框架。 -用numpy编写查看中的。 安装 mlp_framework.py应该能够在几乎所有可以解释python3 （和numpy ）的东西上运行。 ddqn_framework.py还使用下载仓库并运行jupyter笔记本。
经验回放（Experience Replay)
qq_41903673的博客
03-28 7125
复习DQN: 动作价值函数，依赖于当前动作a和状态s。基于当前的动作s给所有的动作打分，反映动作的好坏。DQN就是用神经网络来近似，神经网络的参数记作w。输入是动作s，DQN的神经网络中卷积层全连接层中的参数为w，输出是对动作的打分。 复习TD算法: 观测当前的状态，并执行动作。 环境会给出新的状态和回报。 计算出此时的TD target，TD target一部分基于真实观测到的奖励，部分基于DQN网络在t+1时刻做出的预测。 把DQN在t时刻做出的预测记作，然后算出TD error，.
【SSL-RL】自监督强化学习：事后经验回放 (HER)算法
追风赶月莫停留，平芜尽处是春山
10-24 5334
事后经验回放，Hindsight Experience Replay (HER) 是一种在稀疏奖励强化学习环境下提高智能体学习效率的策略。稀疏奖励问题是指智能体在多数状态下无法获得有价值的反馈，因为奖励信号极其稀少或完全没有。HER通过回顾智能体过去未能实现的目标，将这些“失败”的经验转换为有价值的学习机会，从而极大地提高了智能体在稀疏奖励场景中的学习效率。
【代码小记】赏析 优先经验回放《PER：Prioritized Experience Replay》
qq_42889517的博客
06-17 1625
这个小东西，等我学完数据结构与算法后，再回回头，发现有多一点的理解！
强化学习-论文调研-experience replay
weixin_47895059的博客
03-26 1052
将critic net的损失从Q 的TDerror的均方差，转变为Q 的TDerror的均方差，R的均方差和Transaction的均方差的加权和。在选取transaction时训练网络时, TD-error大的求出的偏导更大,对网络影响更大,TD-error小的求出的偏导更小,对网络的影响更小, 基于此PER算法给TD-error 大的项目更高的权重,使其更高的概率被选中. 同时为了避免过多使用相同数据训练造成过拟合,也要保证优先级低的数据也有一个非零的概率被选中.状态的相似度计算可以用余弦相似度实现。
优先经验回放深度确定性策略梯度(DDPG+PER) torch代码
ZYunfei的博客
05-30 6276
PER基础理论 推两篇blog，自己不想写了，他们写得很好： https://blog.csdn.net/hehedadaq/article/details/100127962 https://blog.csdn.net/gsww404/article/details/103673852 实现方面注意点 二叉求和树（Sum Tree）的实现（PER组织数据优先度的关键数据结构）； experience在存储的时候会赋一个最大的优先度； Sum Tree里面的优先度何时更新？在计算td-error时进行更新
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iπ弟弟

如果可以的话，请杯咖啡吧！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值