RL论文阅读【六】Rainbow: Combining Improvements in Deep Reinforcement Learning

最新推荐文章于 2022-11-10 16:23:29 发布
最新推荐文章于 2022-11-10 16:23:29 发布
阅读量3.6k 收藏 18
点赞数 6
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taoyafan/article/details/93412799
版权
Rainbow论文集成了DQN的多种改进，包括Multi-step learning、Distributional RL、Noisy net和算法融合。Multi-step learning通过多步目标改进Q值估计；Distributional RL将Q值输出为分布，提高准确性；Noisy net引入权重噪声以促进探索。通过这些结合，Rainbow在测试中表现出优于其他网络的效果。
摘要由CSDN通过智能技术生成

1 motivation

这篇论文可以理解为把 DQN 的很多改进都用上了，之前 Dueling DQN 其实已经把 Double DQN 和 Prioritized replay 已经用上了，除此之外，Q-learning 还有一个改进是 Multi-step，后来又有人提出了 Distributional RL 和 Noisy net。然后这篇论文的思想就是把这些改进全结合到一起，做一个全能的网络。下面就分别介绍每个具体的改进和如何结合。

2 优化算法

其中 DDQN，Dueling DQN 和 Prioritized replay 之前都介绍过就不再分别介绍了。

DDQN：https://blog.csdn.net/taoyafan/article/details/90951058

Dueling DQN：https://blog.csdn.net/taoyafan/article/details/90745419

Prioritized replay：https://blog.csdn.net/taoyafan/article/details/91909380

下别分别介绍其他优化：

2.1 Multi-step learning

这个优化是 Q-learning 里面就有的东西，在之前我们计算 loss 时，是用的 TD(0) 的方法，i.e. reward 加下一个状态的 Q 作为 target 和 当前

最低0.47元/天 解锁文章
taoyafan
关注
专栏目录
A Guide Resource for Deep Reinforcement Learning
学-> 思->用
12-24 728
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
强化学习 (Reinforcement Learning) 基础及论文资料汇总
SMALL_RL的博客
03-09 3685
书籍 1. 《Reinforcement Learning: An Introduction》Richard S. Sutton and Andrew G.Bartohttp://incompleteideas.net/book/RLbook2020.pdf Code (Python Implementation): GitHub - ShangtongZhang/reinforcement-learning-an-introduction: Python Implementation of Rein.
Rainbow: Combining Improvements in Deep Reinforcement Learning
小蚂蚁与大象
09-05 431
事实上，它们的组合在来自街机学习环境的57款Atari 2600游戏基准套件上产生了最新的结果，无论是数据效率还是最终性能。展示了消融研究的结果，以帮助理解不同成分的贡献。它具有两个计算流，价值流和优势流，共享一个卷积编码器，并由一个特殊的聚合器合并。为了保持选择的大小可管理，我们选择了一组解决不同问题的扩展(例如，只是众多寻址探索中的一个)。DQN算法是一个重要的里程碑，但目前已经发现了该算法的一些局限性，并提出了许多扩展算法。提供了详细的消融研究的结果，显示了每个组件对整体性能的贡献。
Rainbow: 结合深度强化学习的改进
wdn blog
11-10 1558
本文研究了DQN算法的六个扩展，并实证研究了它们的组合。我们的实验表明，在数据效率和最终性能方面，该组合在雅达利2600基准上提供了最先进的性能。我们还提供了详细的消融研究结果，该研究显示了每个部件对整体性能的贡献。
莫烦python简历_Rainbow: 融合DQN六种改进的深度强化学习方法！
weixin_32859127的博客
12-29 1134
1 简介Rainbow是DeepMind提出的一种在DQN的基础上融合了6个改进的深度强化学习方法。六个改进分别为：(1) Double Q-learning；(2) Prioritized replay；(3) Dueling networks；(4) Multi-step learning；(5) Distributional RL；(6) Noisy Nets.Rainbow是model-f...
RL论文阅读【四】Deep Reinforcement Learning with Double Q-learning（Double DQN）
taoyafan的博客
06-06 2555
1 废话 今天特地早回来了点，天天一点睡，熬不住啊。把 Double DQN 看完了，收获还是不小的吧，虽然公式早就知道，不过把为什么DQN会高估和怎么解决的思路介绍的比较清楚了。 2 Motivation 其实吧，DQN 存在的高估问题和 Q-learning 是一样的，所以 Q-learning 是如何解决的呢？答案就是 Double Q-learning，所以我们今天的 Double ...
DeepMind最新论文提出「Rainbow」，将深度强化学习组合改进
雷克世界
10-11 2200
原文来源：arXiv 作者：DeepMind 「雷克世界」编译：嗯~阿童木呀、多啦A亮 「机器人圈」正式更名为「雷克世界」，后台回复「雷克世界」查看更多详情。 相信那些时刻关注深度强化学习的人士都知道，深度强化学习社区已经对DQN算法进行了若干次独立的改进。但是，目前尚不清楚这些扩展中的哪些是互补的，同时可以有效地组合在一起。本文研究了DQN算法的六个扩展，
【论文笔记】强化学习DQN专题经典论文6篇
Xixoqw的博客
09-23 6122
论文列表详见：openAI spinning-up key paper list
DeepMind提出Rainbow：整合DQN算法中的六种变体
机器之心
10-24 7339
「AlphaGo 之父」David Sliver 等人最近探索的方向转向了强化学习和深度 Q 网络（Deep Q-Network）。在 DeepMind 最近发表的论文中，研究人员整合了 DQN 算法中的六种变体，在 Atari 游戏中达到了超越以往所有方法的表现。 大规模强化学习（RL）在复杂连续决策问题中最成功的方法是 Deep Q-Network 算法（DQN; Mnih et a
基于分位数回归的分布强化学习（Distributional Reinforcemet Learning with Quantile Regression)
weixin_41168254的博客
05-20 5622
引入 Deep Mind团队联合剑桥大学在2017年提出了一种新的强化学习范式——基于分位数回归的分布强化学习（QR-DRL），为强化学习的未来发展指明了一个更加有前景的方向，以学习回报值的概率分布来代替学习回报值的期望值。Deep Mind的论文通过在atari游戏中的实验，证明了QR-DRL的强大性能，在众多游戏中都达到了state-of-art。私以为QR-DRL是近年来为数不多的，从根本理...
RL算法介绍及比较
热门推荐
xiaoqianlizhen的博客
08-09 1万+
主要介绍的算法有：Q Learning、Sarsa、Sarsa(lamda)、TD、Policy Gradient、AC、A3C、DQN、DoubleDQN、DuelingDQN、DDPG、MCTS、UCT （1）Q Learning：建立Q值表，根据当前state预测Q值，用查表的方式选择action。是value-based方法。 （2）Sarsa：与QL不同的是先根据当前state选ac...
RL论文阅读10-me-RL2.2016
铁锹的填坑记录
05-24 274
Tittle source 标签 Meta-Learning 总结 针对的问题 Data efficiency Fast Learn 解决方法 把agent的学习过程视为一个可以使用标准的RL算法优化的objective，agent使用一个RNN网络来表示，接收past rewards, actions, terminations flags, observations. 它保留着某个MDP过程的所有episodes的信息。当训练好这个网络之后，利用RNN的记忆性，当在面对未见过的MDP时，RNN
【代码集合】深度强化学习Pytorch实现集锦
机器学习算法与Python学习
10-23 4657
本次分享的是用PyTorch语言编写的深度强化学习算法的高质量实现，这些IPython笔记本的目的主要是帮助练习和理解这些论文；因此，在某些情况下，我将选择可读性而不是效...
[model-free] 经典强化学习论文合集
StarryDoorway的博客
09-05 325
仅供自己参考学习使用，如果有问题或者觉得内容不错，请去原文作者处点赞和讨论，谢谢。 原文地址：https://zhuanlan.zhihu.com/p/89058164 github：https://github.com/PaddlePaddle/PARL/blob/develop/papers/archive.md 整体介绍 这篇文章主要介绍经典的model-free 算法。对刚接触强化学习，然后又想深入了解RL的同学来说，是一个很好的论文合集。文章涵盖了首次用神经网络结合强化学习的D..
DeepMind为明年的AAAI，准备了一份各种DQN的混血
量子位
10-10 967
夏乙 编译整理 量子位 出品 | 公众号 QbitAI
重温强化学习之深度强化学习
BUPT-WT的博客
12-28 1125
1、简介                               输入特征和真实特征相距比较远，加一个深度学习提取源的特征 2、基于值函数的深度强化学习 意义：不用函数近似无法解决大规模的问题，用函数近似训练不稳定，首次证明了能够通过原始像素解决游戏问题，并且对所有游戏通用 主要论文： Playing Atari with Deep Reinforcement Learning (...
Distributional RL with Quantile Regression论文翻译
Daniel的博客
06-02 7607
毕业设计需要选择一篇外文论文进行翻译，翻译完成正好分享到这里。因为这一篇论文比较难懂，也是比较重要的一篇论文，所以选择了这一篇。
CVPR2021论文详解Rainbow Memory: Continual Learning with a Memory of Diverse Samples
祥瑞的技术博客
04-25 3621
论文地址： https://arxiv.org/abs/2103.17230 代码地址： https://github.com/clovaai/rainbow-memory 本文基于样本回放的方法，本文某种意义上借鉴了主动学习中找难样本的方法，将找到的难样本作为Memory中用于回放的样本。 本文的意义在于如何寻找难样本。 1.贡献点 因为本文涉及memory，因此可以看作基于样本回放的增量学习方法。本文解决的问题是，如何选取更好的样本来放置在Memory之中。 基于增量学...
20篇2021-2022年发表的关于强化学习的高质量论文
最新发布
02-06
我很抱歉，由于我是一个大型语言模型，我无法提供最近发表的论文的信息。但是，我可以给你提供一些关于强化学习的基本信息。 强化学习是一种人工智能的学习方式，它使用奖励和惩罚来帮助机器学习如何执行特定任务。这种方法的目的是使机器能够自己学习如何完成任务，而不是人工输入规则。强化学习通常用于机器人学习和博弈论应用，但也可以用于其他领域。 如果你想了解有关强化学习的更多信息，可以查看一些有关强化学习的论文，例如： 1. "Playing Atari with Deep Reinforcement Learning" by Volodymyr Mnih et al. 2. "Human-level control through deep reinforcement learning" by Volodymyr Mnih et al. 3. "Deep Reinforcement Learning with Double Q-learning" by Hado van Hasselt et al. 4. "Proximal Policy Optimization Algorithms" by John Schulman et al. 5. "Rainbow: Combining Improvements in Deep Reinforcement Learning" by Hado van Hasselt et al. 这些论文都是关于强化学习的经典论文，可以作为你开始学习强化学习的起点。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值