RL论文阅读【六】Rainbow: Combining Improvements in Deep Reinforcement Learning

最新推荐文章于 2024-10-19 19:15:00 发布
最新推荐文章于 2024-10-19 19:15:00 发布
阅读量3.8k 收藏 18
点赞数 6
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taoyafan/article/details/93412799
版权
Rainbow论文集成了DQN的多种改进，包括Multi-step learning、Distributional RL、Noisy net和算法融合。Multi-step learning通过多步目标改进Q值估计；Distributional RL将Q值输出为分布，提高准确性；Noisy net引入权重噪声以促进探索。通过这些结合，Rainbow在测试中表现出优于其他网络的效果。
摘要由CSDN通过智能技术生成

1 motivation

这篇论文可以理解为把 DQN 的很多改进都用上了，之前 Dueling DQN 其实已经把 Double DQN 和 Prioritized replay 已经用上了，除此之外，Q-learning 还有一个改进是 Multi-step，后来又有人提出了 Distributional RL 和 Noisy net。然后这篇论文的思想就是把这些改进全结合到一起，做一个全能的网络。下面就分别介绍每个具体的改进和如何结合。

2 优化算法

其中 DDQN，Dueling DQN 和 Prioritized replay 之前都介绍过就不再分别介绍了。

DDQN：https://blog.csdn.net/taoyafan/article/details/90951058

Dueling DQN：https://blog.csdn.net/taoyafan/article/details/90745419

Prioritized replay：https://blog.csdn.net/taoyafan/article/details/91909380

下别分别介绍其他优化：

2.1 Multi-step learning

这个优化是 Q-learning 里面就有的东西，在之前我们计算 loss 时，是用的 TD(0) 的方法，i.e. reward 加下一个状态的 Q 作为 target 和 当前

最低0.47元/天 解锁文章
A Guide Resource for Deep Reinforcement Learning
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
12-24 847
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
强化学习 (Reinforcement Learning) 基础及论文资料汇总
SMALL_RL的博客
03-09 3879
书籍 1. 《Reinforcement Learning: An Introduction》Richard S. Sutton and Andrew G.Bartohttp://incompleteideas.net/book/RLbook2020.pdf Code (Python Implementation): GitHub - ShangtongZhang/reinforcement-learning-an-introduction: Python Implementation of Rein.
Rainbow: Combining Improvements in Deep Reinforcement Learning
小蚂蚁与大象
09-05 481
事实上，它们的组合在来自街机学习环境的57款Atari 2600游戏基准套件上产生了最新的结果，无论是数据效率还是最终性能。展示了消融研究的结果，以帮助理解不同成分的贡献。它具有两个计算流，价值流和优势流，共享一个卷积编码器，并由一个特殊的聚合器合并。为了保持选择的大小可管理，我们选择了一组解决不同问题的扩展(例如，只是众多寻址探索中的一个)。DQN算法是一个重要的里程碑，但目前已经发现了该算法的一些局限性，并提出了许多扩展算法。提供了详细的消融研究的结果，显示了每个组件对整体性能的贡献。
◇【论文_20171006】Rainbow〔DeepMind〕：Combining Improvements in Deep Reinforcement Learning
weixin_46034116的博客
10-19 1036
↓【注意到前人干了啥，感觉还有啥有必要研究研究，本文具体做了哪些 (组合评估，消融评估，结论要点)】深度强化学习界对 DQN 算法进行了几项独立的改进。然而，还不清楚这些扩展中哪些是互补的，可以有效地结合起来。本文研究了 DQN 算法的六个扩展，并对它们的组合进行了实证研究。我们的实验表明，无论是在数据效率还是最终性能方面，这种组合在 Atari 2600 基准 上都提供了最先进的性能。我们还提供了详细的消融研究结果，显示了每个组件对整体性能的贡献。
Rainbow: 结合深度强化学习的改进
wdn blog
11-10 1691
本文研究了DQN算法的六个扩展，并实证研究了它们的组合。我们的实验表明，在数据效率和最终性能方面，该组合在雅达利2600基准上提供了最先进的性能。我们还提供了详细的消融研究结果，该研究显示了每个部件对整体性能的贡献。
莫烦python简历_Rainbow: 融合DQN六种改进的深度强化学习方法！
weixin_32859127的博客
12-29 1207
1 简介Rainbow是DeepMind提出的一种在DQN的基础上融合了6个改进的深度强化学习方法。六个改进分别为：(1) Double Q-learning；(2) Prioritized replay；(3) Dueling networks；(4) Multi-step learning；(5) Distributional RL；(6) Noisy Nets.Rainbow是model-f...
探索未来游戏智能：Rainbow 深度强化学习框架
gitblog_00099的博客
05-13 879
探索未来游戏智能：Rainbow 深度强化学习框架 项目地址:https://gitcode.com/gh_mirrors/rainbo/Rainbow 项目介绍 Rainbow 是一个基于 PyTorch 的深度强化学习（Deep Reinforcement Learning, DRL）开源项目，它集成了过去几年在该领域的多项重要改进。灵感来源于论文 "Rainbow: Combini...
【论文笔记】Applications of Deep Reinforcement Learning in Communications and Networking: A Survey
观林望实的博客
06-30 3620
摘要 本文综述了深度强化学习（DRL）在通信和网络中的应用。现代网络中的实体需要在网络环境不确定的情况下在本地进行决策，以使网络性能最大化。强化学习被有效地用于使网络实体在状态空间和行为空间较小的情况下，获得动作的最优选择。然而，在复杂的大规模网络中，状态空间和动作空间往往很大，强化学习可能无法在合理的时间内找到最优策略。因此，发展强化学习与深度学习相结合的DRL来克服这一不足。在本次调查中，我们首先提供了从基本概念到高级模型的DRL教程。然后，我们回顾了为解决通信和网络中的新问题而提出的DRL方法。这些
RL论文阅读【四】Deep Reinforcement Learning with Double Q-learning（Double DQN）
taoyafan的博客
06-06 2683
1 废话 今天特地早回来了点，天天一点睡，熬不住啊。把 Double DQN 看完了，收获还是不小的吧，虽然公式早就知道，不过把为什么DQN会高估和怎么解决的思路介绍的比较清楚了。 2 Motivation 其实吧，DQN 存在的高估问题和 Q-learning 是一样的，所以 Q-learning 是如何解决的呢？答案就是 Double Q-learning，所以我们今天的 Double ...
DeepMind最新论文提出「Rainbow」，将深度强化学习组合改进
雷克世界
10-11 2272
原文来源：arXiv 作者：DeepMind 「雷克世界」编译：嗯~阿童木呀、多啦A亮 「机器人圈」正式更名为「雷克世界」，后台回复「雷克世界」查看更多详情。 相信那些时刻关注深度强化学习的人士都知道，深度强化学习社区已经对DQN算法进行了若干次独立的改进。但是，目前尚不清楚这些扩展中的哪些是互补的，同时可以有效地组合在一起。本文研究了DQN算法的六个扩展，
【论文笔记】强化学习DQN专题经典论文6篇
Xixoqw的博客
09-23 7486
论文列表详见：openAI spinning-up key paper list
基于分位数回归的分布强化学习（Distributional Reinforcemet Learning with Quantile Regression)
weixin_41168254的博客
05-20 5824
引入 Deep Mind团队联合剑桥大学在2017年提出了一种新的强化学习范式——基于分位数回归的分布强化学习（QR-DRL），为强化学习的未来发展指明了一个更加有前景的方向，以学习回报值的概率分布来代替学习回报值的期望值。Deep Mind的论文通过在atari游戏中的实验，证明了QR-DRL的强大性能，在众多游戏中都达到了state-of-art。私以为QR-DRL是近年来为数不多的，从根本理...
【代码集合】深度强化学习Pytorch实现集锦
机器学习算法与Python学习
10-23 4703
本次分享的是用PyTorch语言编写的深度强化学习算法的高质量实现，这些IPython笔记本的目的主要是帮助练习和理解这些论文；因此，在某些情况下，我将选择可读性而不是效...
[model-free] 经典强化学习论文合集
StarryDoorway的博客
09-05 413
仅供自己参考学习使用，如果有问题或者觉得内容不错，请去原文作者处点赞和讨论，谢谢。 原文地址：https://zhuanlan.zhihu.com/p/89058164 github：https://github.com/PaddlePaddle/PARL/blob/develop/papers/archive.md 整体介绍 这篇文章主要介绍经典的model-free 算法。对刚接触强化学习，然后又想深入了解RL的同学来说，是一个很好的论文合集。文章涵盖了首次用神经网络结合强化学习的D..
重温强化学习之深度强化学习
BUPT-WT的博客
12-28 1272
1、简介                               输入特征和真实特征相距比较远，加一个深度学习提取源的特征 2、基于值函数的深度强化学习 意义：不用函数近似无法解决大规模的问题，用函数近似训练不稳定，首次证明了能够通过原始像素解决游戏问题，并且对所有游戏通用 主要论文： Playing Atari with Deep Reinforcement Learning (...
DeepMind为明年的AAAI，准备了一份各种DQN的混血
量子位
10-10 1007
夏乙 编译整理 量子位 出品 | 公众号 QbitAI
RL算法介绍及比较
热门推荐
xiaoqianlizhen的博客
08-09 1万+
主要介绍的算法有：Q Learning、Sarsa、Sarsa(lamda)、TD、Policy Gradient、AC、A3C、DQN、DoubleDQN、DuelingDQN、DDPG、MCTS、UCT （1）Q Learning：建立Q值表，根据当前state预测Q值，用查表的方式选择action。是value-based方法。 （2）Sarsa：与QL不同的是先根据当前state选ac...
深度探索：机器学习中的Categorical DQN (C51)算法原理及其应用
qq_51320133的博客
04-20 1458
Categorical DQN (C51)算法通过学习回报分布而非单一Q值，为强化学习提供了一种更为精确和鲁棒的价值估计方法。尽管存在计算复杂度增加、对参数设置敏感等问题，但其在游戏、机器人控制、推荐系统等多个领域的成功应用证明了其有效性。未来研究可进一步探讨如何优化分布估计的效率，适应更复杂的环境动态，以及与其他强化学习技术（如模型-based方法、元学习等）的融合，以推动分布式强化学习理论与实践的发展。同时，研究如何将C51应用于更多现实世界问题，如能源管理、交通调度、医疗决策等，有望带来更大的社会经济
CVPR2021论文详解Rainbow Memory: Continual Learning with a Memory of Diverse Samples
祥瑞的技术博客
04-25 4198
论文地址： https://arxiv.org/abs/2103.17230 代码地址： https://github.com/clovaai/rainbow-memory 本文基于样本回放的方法，本文某种意义上借鉴了主动学习中找难样本的方法，将找到的难样本作为Memory中用于回放的样本。 本文的意义在于如何寻找难样本。 1.贡献点 因为本文涉及memory，因此可以看作基于样本回放的增量学习方法。本文解决的问题是，如何选取更好的样本来放置在Memory之中。 基于增量学...
Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
最新发布
02-06
### 强化学习激励大型语言模型推理能力的方法 为了提升大型语言模型在特定任务上的推理能力，采用了一种基于强化学习（RL）的训练方法[^2]。这种方法不仅增强了模型处理复杂问题的能力，还特别关注于提高其在编程、数学、科学以及逻辑推理等领域的表现。 #### 应用大规模强化学习训练过程 具体而言，在对预训练的基础模型进行初步调整之后，采用了类似于先前版本中的大规模强化学习流程来进行进一步优化。此阶段的核心目标在于加强模型对于需要清晰定义的问题及其对应解答路径的理解力和解决效率。值得注意的是，在这个过程中发现了一个有趣现象——当提示涉及到多语种环境下的思考链条时，容易出现不同语言混合使用的状况。为此，研究者们设计并实施了一套专门针对这一挑战的语言一致性奖励机制，旨在鼓励更连贯一致的回答形式，尽管这可能会带来些许性能上的牺牲[^1]。 #### 设计合理的奖励函数 为了平衡准确度与表达质量之间的关系，最终决定将推理任务的成功率同上述提到的语言一致性得分相结合作为整体评价标准的一部分。这意味着每当完成一次迭代更新后，都会依据这两个维度的表现给予相应的反馈信号给到正在接受训练的目标网络结构之中，直至整个系统能够在预期范围内稳定产出高质量的结果为止。 ```python def calculate_final_reward(task_accuracy, language_consistency): """ Calculate the final reward by combining task accuracy and language consistency. Args: task_accuracy (float): Accuracy score of reasoning tasks. language_consistency (float): Proportion of target language vocabulary used in Chain-of-Thought. Returns: float: Final combined reward value. """ return task_accuracy + language_consistency ``` 通过这种方式，可以有效地引导大型语言模型朝着更加擅长处理各类抽象概念的方向发展，同时也确保了输出内容能够保持较高的可理解性和易读性水平。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值