RL论文阅读【六】Rainbow: Combining Improvements in Deep Reinforcement Learning

最新推荐文章于 2022-11-10 16:23:29 发布
最新推荐文章于 2022-11-10 16:23:29 发布
阅读量3.6k 收藏 18
点赞数 6
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taoyafan/article/details/93412799
版权
Rainbow论文集成了DQN的多种改进，包括Multi-step learning、Distributional RL、Noisy net和算法融合。Multi-step learning通过多步目标改进Q值估计；Distributional RL将Q值输出为分布，提高准确性；Noisy net引入权重噪声以促进探索。通过这些结合，Rainbow在测试中表现出优于其他网络的效果。
摘要由CSDN通过智能技术生成

1 motivation

这篇论文可以理解为把 DQN 的很多改进都用上了，之前 Dueling DQN 其实已经把 Double DQN 和 Prioritized replay 已经用上了，除此之外，Q-learning 还有一个改进是 Multi-step，后来又有人提出了 Distributional RL 和 Noisy net。然后这篇论文的思想就是把这些改进全结合到一起，做一个全能的网络。下面就分别介绍每个具体的改进和如何结合。

2 优化算法

其中 DDQN，Dueling DQN 和 Prioritized replay 之前都介绍过就不再分别介绍了。

DDQN：https://blog.csdn.net/taoyafan/article/details/90951058

Dueling DQN：https://blog.csdn.net/taoyafan/article/details/90745419

Prioritized replay：https://blog.csdn.net/taoyafan/article/details/91909380

下别分别介绍其他优化：

2.1 Multi-step learning

这个优化是 Q-learning 里面就有的东西，在之前我们计算 loss 时，是用的 TD(0) 的方法，i.e. reward 加下一个状态的 Q 作为 target 和 当前

最低0.47元/天 解锁文章
taoyafan
关注
专栏目录
A Guide Resource for Deep Reinforcement Learning
学-> 思->用
12-24 733
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
强化学习 (Reinforcement Learning) 基础及论文资料汇总
SMALL_RL的博客
03-09 3693
书籍 1. 《Reinforcement Learning: An Introduction》Richard S. Sutton and Andrew G.Bartohttp://incompleteideas.net/book/RLbook2020.pdf Code (Python Implementation): GitHub - ShangtongZhang/reinforcement-learning-an-introduction: Python Implementation of Rein.
Rainbow: Combining Improvements in Deep Reinforcement Learning
小蚂蚁与大象
09-05 434
事实上，它们的组合在来自街机学习环境的57款Atari 2600游戏基准套件上产生了最新的结果，无论是数据效率还是最终性能。展示了消融研究的结果，以帮助理解不同成分的贡献。它具有两个计算流，价值流和优势流，共享一个卷积编码器，并由一个特殊的聚合器合并。为了保持选择的大小可管理，我们选择了一组解决不同问题的扩展(例如，只是众多寻址探索中的一个)。DQN算法是一个重要的里程碑，但目前已经发现了该算法的一些局限性，并提出了许多扩展算法。提供了详细的消融研究的结果，显示了每个组件对整体性能的贡献。
Rainbow: 结合深度强化学习的改进
wdn blog
11-10 1558
本文研究了DQN算法的六个扩展，并实证研究了它们的组合。我们的实验表明，在数据效率和最终性能方面，该组合在雅达利2600基准上提供了最先进的性能。我们还提供了详细的消融研究结果，该研究显示了每个部件对整体性能的贡献。
莫烦python简历_Rainbow: 融合DQN六种改进的深度强化学习方法！
weixin_32859127的博客
12-29 1134
1 简介Rainbow是DeepMind提出的一种在DQN的基础上融合了6个改进的深度强化学习方法。六个改进分别为：(1) Double Q-learning；(2) Prioritized replay；(3) Dueling networks；(4) Multi-step learning；(5) Distributional RL；(6) Noisy Nets.Rainbow是model-f...
RL论文阅读【四】Deep Reinforcement Learning with Double Q-learning（Double DQN）
taoyafan的博客
06-06 2559
1 废话 今天特地早回来了点，天天一点睡，熬不住啊。把 Double DQN 看完了，收获还是不小的吧，虽然公式早就知道，不过把为什么DQN会高估和怎么解决的思路介绍的比较清楚了。 2 Motivation 其实吧，DQN 存在的高估问题和 Q-learning 是一样的，所以 Q-learning 是如何解决的呢？答案就是 Double Q-learning，所以我们今天的 Double ...
DeepMind最新论文提出「Rainbow」，将深度强化学习组合改进
雷克世界
10-11 2202
原文来源：arXiv 作者：DeepMind 「雷克世界」编译：嗯~阿童木呀、多啦A亮 「机器人圈」正式更名为「雷克世界」，后台回复「雷克世界」查看更多详情。 相信那些时刻关注深度强化学习的人士都知道，深度强化学习社区已经对DQN算法进行了若干次独立的改进。但是，目前尚不清楚这些扩展中的哪些是互补的，同时可以有效地组合在一起。本文研究了DQN算法的六个扩展，
【论文笔记】强化学习DQN专题经典论文6篇
Xixoqw的博客
09-23 6142
论文列表详见：openAI spinning-up key paper list
DeepMind提出Rainbow：整合DQN算法中的六种变体
机器之心
10-24 7343
「AlphaGo 之父」David Sliver 等人最近探索的方向转向了强化学习和深度 Q 网络（Deep Q-Network）。在 DeepMind 最近发表的论文中，研究人员整合了 DQN 算法中的六种变体，在 Atari 游戏中达到了超越以往所有方法的表现。 大规模强化学习（RL）在复杂连续决策问题中最成功的方法是 Deep Q-Network 算法（DQN; Mnih et a
rainbow:我（正在进行中）博士的官方资料库论文
03-18
彩虹计划 我（正在进行中）博士的官方资料库论文。 依存关系 数据 重新预测了全球整体预报系统（GEFS） 欧洲中距离天气预报中心重新分析版本5（ERA5） 独立斜坡模型（PRISM）的参数高程回归 模组 脾气暴躁的 Numba 西皮 张量流 Matplotlib 卡托比 概述 加拿大不列颠哥伦比亚省（BC）的GEFS / NAEFS的偏差校正，校准和缩减。 ... 执照
强化学习(RL)
机器学习知识点整理
05-10 3663
强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。——wiki强化学习在许多学科都有应用，除了AI外，还包括自动化的控制理论，数学中的运筹学和认知科学。在机器学习中，通常可以分为有监督学习（分类，回归），无监督学习（聚类，降维）和强化学...
RL算法介绍及比较
xiaoqianlizhen的博客
08-09 1万+
主要介绍的算法有：Q Learning、Sarsa、Sarsa(lamda)、TD、Policy Gradient、AC、A3C、DQN、DoubleDQN、DuelingDQN、DDPG、MCTS、UCT （1）Q Learning：建立Q值表，根据当前state预测Q值，用查表的方式选择action。是value-based方法。 （2）Sarsa：与QL不同的是先根据当前state选ac...
深度强化学习与 Deep Q-Learning（DQN）
热门推荐
止于至玄
07-15 2万+
本文中我们来探讨一下深度强化学习（以DQN为主）的原理与实例。这里假设读者对强化学习的基本原理与神经网络的基本知识已经有了一定的了解。 初探深度强化学习 Deep Q-Learning Double DQN 带有优先回放的Double DQN( Prioritized Replay ) Dueling DQN 初探深度强化学习 Deep Q-Learning 这里介绍的 D...
【代码集合】深度强化学习Pytorch实现集锦
机器学习算法与Python学习
10-23 4659
本次分享的是用PyTorch语言编写的深度强化学习算法的高质量实现，这些IPython笔记本的目的主要是帮助练习和理解这些论文；因此，在某些情况下，我将选择可读性而不是效...
[model-free] 经典强化学习论文合集
StarryDoorway的博客
09-05 327
仅供自己参考学习使用，如果有问题或者觉得内容不错，请去原文作者处点赞和讨论，谢谢。 原文地址：https://zhuanlan.zhihu.com/p/89058164 github：https://github.com/PaddlePaddle/PARL/blob/develop/papers/archive.md 整体介绍 这篇文章主要介绍经典的model-free 算法。对刚接触强化学习，然后又想深入了解RL的同学来说，是一个很好的论文合集。文章涵盖了首次用神经网络结合强化学习的D..
重温强化学习之深度强化学习
BUPT-WT的博客
12-28 1130
1、简介                               输入特征和真实特征相距比较远，加一个深度学习提取源的特征 2、基于值函数的深度强化学习 意义：不用函数近似无法解决大规模的问题，用函数近似训练不稳定，首次证明了能够通过原始像素解决游戏问题，并且对所有游戏通用 主要论文： Playing Atari with Deep Reinforcement Learning (...
DeepMind为明年的AAAI，准备了一份各种DQN的混血
量子位
10-10 969
夏乙 编译整理 量子位 出品 | 公众号 QbitAI
奔跑吧，旅行商 - 当机器学习遇上组合优化
世事难料，保持低调
12-06 1万+
背景 如今机器学习在视觉、自然语言处理、语音、推荐等领域的应用已非常广泛，相关的讨论也非常多。与这些热门领域相比，关于机器学习在组合优化中的应用相对还没那么泛滥。今天我们就来聊一下这个有意思的话题。值得一提的是，近几年热度升温的GNN和RL（《GNN、RL强势崛起，CNN初现疲态？这是ICLR 2021最全论文主题分析》）都是这个方向里的常规方法。在实际工程中，有一类优化问题需要我们从集合的所有组合中找出一个最优方案。这类离散空间中的优化问题就称为组合优化问题（Combinatorial Optimizat
20篇2021-2022年发表的关于强化学习的高质量论文
最新发布
02-06
我很抱歉，由于我是一个大型语言模型，我无法提供最近发表的论文的信息。但是，我可以给你提供一些关于强化学习的基本信息。 强化学习是一种人工智能的学习方式，它使用奖励和惩罚来帮助机器学习如何执行特定任务。这种方法的目的是使机器能够自己学习如何完成任务，而不是人工输入规则。强化学习通常用于机器人学习和博弈论应用，但也可以用于其他领域。 如果你想了解有关强化学习的更多信息，可以查看一些有关强化学习的论文，例如： 1. "Playing Atari with Deep Reinforcement Learning" by Volodymyr Mnih et al. 2. "Human-level control through deep reinforcement learning" by Volodymyr Mnih et al. 3. "Deep Reinforcement Learning with Double Q-learning" by Hado van Hasselt et al. 4. "Proximal Policy Optimization Algorithms" by John Schulman et al. 5. "Rainbow: Combining Improvements in Deep Reinforcement Learning" by Hado van Hasselt et al. 这些论文都是关于强化学习的经典论文，可以作为你开始学习强化学习的起点。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值