RL论文阅读【四】Deep Reinforcement Learning with Double Q-learning（Double DQN）

最新推荐文章于 2023-09-13 17:04:49 发布
最新推荐文章于 2023-09-13 17:04:49 发布
阅读量2.5k 收藏 18
点赞数 5
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taoyafan/article/details/90951058
版权

1 废话

今天特地早回来了点，天天一点睡，熬不住啊。把 Double DQN 看完了，收获还是不小的吧，虽然公式早就知道，不过把为什么DQN会高估和怎么解决的思路介绍的比较清楚了。

2 Motivation

其实吧，DQN 存在的高估问题和 Q-learning 是一样的，所以 Q-learning 是如何解决的呢？答案就是 Double Q-learning，所以我们今天的 Double DQN 也就来源于该算法。不过 Double Q-learning 我也没看，反正今天这篇 paper 介绍挺清楚的。

（1）首先：为什么 DQN 会出现高估的情况呢？

论文第二页的定理 1 就是在解释该问题 ，按照我自己的理解再解释一下：假设最优的Q为\hat{Q}(s, a)，我们的估计值为Q^{t}(s, a)，对于DQN，策略为选用最大 Q 的动作为输出，就使得V^{*}(s) = max_{a}\hat{Q}(s, a)，然后论文中假设了 Q 的估计值\sum_{a}Q^{t}(s, a)是对 V^{*}(s)的无偏估计，这我有点不太理解哈，因为我们在 DQN 的计算中已经使得 V(s) 是最大 Q 值了而非是使用贝尔曼方程计算的 Q（这时 V(s) 才应该是 Q 的期望），我认为只能假设 Q^{t}(s, a) 是对 \hat{Q}(s, a) 的无偏估计，那后边怎么证明高估呢？？只能说 max_{a}Q^{t}(s, a) 有可能比 max_{a}\hat{Q}(s, a)大，而不能解释为必然。我是这么理解的，当 Q^{t}(s, a) 小于 \hat{Q}(s, a) 时，就会存在一定的误差，然后使得 Q^{t}(s, a) 继续增加，而当 Q^{t}(s, a) 偶然出现大于 \hat{Q}(s, a)时，由于更新操作Q(s, a) = r + \gamma max_{a'}Q(s', a')存在max操作，导致下一个状态的高估会传导至当前的状态，继而引起当前状态的高估，再继续向前传导。比如举个例子：

在训练过程中，状态s出现了高估，然后的前一个状态的 target 就会高于真实值，继而导致预期值也高于真实值，然后再前一个状态的 target 也会高于真实值，由此一直向前传导。

（2）事实上通过实验，DQN 的确是会出现高估的问题的，如图1展示了4个游戏的结果（先不看 Double DQN），在其他的游戏中同样会出现高估的现象，非常普遍。

图1 DQN 和 Double DQN 的 Q 估计值与真实值曲线图

（3）高估有什么影响？

 如图二所示，上面是Q值，下面是得分，可以看出当DQN进行过估计的时候得分也会有一定程度的下降，说以可以理解为高估会对策略产生不利的影响。

图2 DQN 与 Double DQN 的估计值和游戏得分

2 如何解决呢？

论文直接说了解决方案，但是实际上并没有太多介绍为什么这么做比较好，先说文中的解决方案吧，然后再说一下我的理解。

将原有 DQN 的 target ：Y^{DQN}_{t}改为如下所示的 Y_{t}^{DoubleDQN}：

Y_{t}^{DoubleDQN} = r + \gamma Q(s, argmax_{a}(Q(s, a, \theta_{t})), \theta'_{t})

其中 \theta_{t} 为当前与环境交互的网络的参数，\theta_{t}' 为暂存的 target 网络的参数。

3 效果

图1和图2已经展示了一定的效果，作者又用了很多别的游戏来测试，大部分效果都是有提升的，这部分就不过多介绍。

4 为什么会有用呢？？

paper 中有一个简单的例子尝试说明为什么会有用，这部分也比较多，懒得写了，大概就是用一个一维的状态，设定一个真值Q，在用多项式函数拟合一个 Q，然后验证了用 Q-learning 的方法计算 Q 估计值得到的最大值是比最优 Q 的最大值要大的，然后下一个状态的V值为随机一个动作的Q（paper 中写的选择的动作为 i+5 或 i-5），然后来更新当前的 Q 值（Double Q-learning 的思想）得到的 Q 的估计值的最大值与最优 Q 的最大值是差不多的。但是：你下一个状态的 V 值都用随机的动作的Q值了，你还能叫 Q-learning 吗？还能收敛吗？？

我个人认的理解：

我们先只考虑让一个估计值去逼近真实值，那么这个估计值可能会在真实值上下波动，最后趋近去真实值，但是 max 操作使得被高估的预测值会传导至下一个状态，使得下一个状态的预测会趋近于一个高估的值。那么解决办法就是不要让一个高估的值传导至下一个状态，所以 Double DQN 做的就是用一个网络选最大值的动作，另一个网络获得这个动作的值，这样只有两个网络的Q最大值对应的动作相同时，即第一个网络选出来的动作在第二个网络里的Q值刚好也是最大的，但是这样几率就大大减小了，所以会使得效果改善不少。

5 还有什么改进办法吗（个人理解）？

只有在迭代公式中的 target 对于真实值永远是无偏的才能解决该问题。那么就不能使用 max 操作来计算 target，可以使用一个无偏的值，比如能否用 V(s) 来计算 target，然后 V(s) 再用贝尔曼公式计算，但是这样就必须知道执行每个动作的概率了，SO，能否用两个网络，一个网络输出每个动作的概率，然后另一个网络估计Q值，不对啊。。怎么越来越像 AC 了。。。或者使用 Dueling DQN（将 Q 分成了 V 和 A，还强行将 A 的期望拉成 0），用 V 来计算target：Y=r+\gamma V(s')然后更新Q。

 

6 最后

这篇看的比较费脑子，主要是 motivation，原理。为什么出存在这种问题，如何解决这种问题，为什么能解决？我上边也说了好多我的理解，很多直观理解，没有啥理论证明，也希望看到该博客的可以多多交流，不喜勿喷。

taoyafan
关注
  • 5
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Deep-Reinforcement-Learning-With-Python:使用OpenAI Gym和TensorFlow结合广泛的数学知识来掌握经典RL，深度RL，分布式RL，逆RL等
04-01
使用OpenAI Gym和TensorFlow结合广泛的数学知识来掌握经典RL，深度RL，分布式RL，逆RL等关于这本书 近年来，随着算法质量和数量的显着提高，《 Python上的动手强化学习》第二版已完全改编为示例丰富的指南，用于学习...
Deep Reinforcement Learning with Double Q-learning（Double DQN）论文学习和公式推导
qq_37194582的博客
08-09 2801
Abstract Q-learning算法会在某些情况下存在对action values的过估计（overestimation）问题，但这种过估计是否普遍存在，是否影响性能，是否可避免，以前尚不清楚。作者在本文回答了这些问题，且证明了用于解决表格式问题（状态动作是离散的）的Double Q-learning算法背后的思想可以推广用于大规模函数逼近。作者提出了一种改进的DQN算法，减少了过估计现象。 Q-learning有时学到不切实际的高action value，原因是在估计action valu.
Deep Reinforcement Learning with Double Q-learning（double DQN）
小蚂蚁与大象
09-01 1043
虽然没有完全解耦，但DQN架构中的目标网络为第二值函数提供了一个自然的候选网络，而无需引入额外的网络。首先，我们展示了为什么q学习在大规模问题中可能过于乐观，即使这些问题是确定性的，因为学习的固有估计误差。其次，通过分析Atari游戏的价值估计，我们已经表明，这些高估在实践中比之前承认的更常见和更严重。当然，不精确的价值估计是学习过程中的常态，这表明高估可能比之前认识到的更普遍。然后，我们展示了这种算法不仅产生了更准确的价值估计，而且在一些游戏中获得了更高的分数。，而且还在一些游戏上带来了更好的性能。
Deep Reinforcement Learning with Double Q-learning
最新发布
jiang1306595958的博客
09-13 110
读Deep Reinforcement Learning with Double Q-learning论文时的个人笔记
【5分钟 Paper】Deep Reinforcement Learning with Double Q-learning
小小何先生的学习之旅
02-23 572
论文题目：Deep Reinforcement Learning with Double Q-learning 所解决的问题？   Q-Learning算法中存在动作值函数过估计(overestimate action values)的问题(因为其更新方程中包含一个maximization动作值函数的一项)，那这样的过估计问题是否会对其算法性能有所影响呢？能不能去避免这样的一种过估计问题呢？...
DQN摆锤_deeplearning_Qlearning_DQN_源码
10-02
在本文中，我们将深入探讨深度强化学习（Deep Reinforcement Learning，DRL）中的核心算法——深度Q学习（Deep Q-Network，DQN）。这个算法在标题中被提及，并且通过"摆锤"这一简单的环境来展示其应用。我们将会解析...
Deep-Reinforcement-Learning
03-29
Q-learning和SARSA是经典的强化学习算法，而DQN（Deep Q-Network）是将深度学习引入强化学习的标志性工作，解决了Q-learning中Q-table的维度灾难问题。 接着，深度学习（Deep Learning, DL）是机器学习的一个子领域...
Deep-rl-mxnet:深度强化学习论文的Mxnet实施，例如DQN，PG，DDPG，PPO
05-02
Deep-rl-mxnet Mxnet实施“深度强化学习”论文。 现在，该存储库包含： DQN Double DQN 决斗DQN 政策梯度 深度确定性策略梯度 （详细实现） :star: 近端政策优化 TD3 [代码] （非常详细的实现） :star: :star: ...
deep q_learning
06-19
3. *Deep Reinforcement Learning with Double Q-learning*, van Hasselt et al., 2015 4. *Continuous control with deep reinforcement learning*, Lillicrap et al., 2015 5. *Asynchronous Methods for Deep ...
Deep Reinforcement Learning with Double Q-learning论文分享.pdf
05-16
The popular Q-learning algorithm is known to overestimate action values under certain conditions. It was not previously known whether, in practice, such overestimations are common, whether they harm performance, and whether they can generally be prevented. In this paper, we answer all these questions affirmatively. In particular, we first show that the recent DQN algorithm, which combines Q-learning with a deep neural network, suffers from substantial overestimations in some games in the Atari 2600 domain. We then show that the idea behind the Double Q-learning algorithm, which was introduced in a tabular setting, can be generalized to work with large-scale function approximation. We propose a specific adaptation to the DQN algorithm and show that the resulting algorithm not only reduces the observed overestimations, as hypothesized, but that this also leads to much better performance on several games.
【强化学习】Deep Reinforcement Learning with Double Q-learning（2015）
HTS's Blog
04-25 2298
2015 传统的q learning被认为会过高估计action value，因为它包括了一个maximization step，这样就倾向于过高的估计价值的大小。 之前的工作中，高估被归因为function approximation有限（？）。本文统一了这些观点，提出当action value不正确时，高估就会出现，这是误差出现的源头。 无论是标准的Q-learning还是DQN，都是用相同的...
强化学习论文研读（四）——Deep Reinforcement Learning with Double Q-Learning
星之所望的博客
02-16 583
double Q learning + DQN的合成算法。 论文主要有5点贡献： 一是DQN会对动作的价值过估计。 二是过估计是有害的。 三是double Q learning 可以减少过估计。通过评估网络和动作选择网络解耦实现的。 四是提出了三层卷积+FC的Double DQN 算法结构和参数更新公式。 五是证明了 Double DQN是有效的。 相比于DQN主要改进在一点： 看到里边的两个Q中的θ是不一样的。一个是target的net，一个是当前的网络，存在时间更新的前后顺序，.
深度强化学习-Double DQN算法原理与代码
热门推荐
weixin_46133643的博客
12-11 3万+
Double Deep Q-learning(DDQN)是对DQN算法的改进，有效提升了算法的性能，本文就带领大家了解一下这个算法，Double Q-learning算法的论文链接见下方。 论文：https://ojs.aaai.org/index.php/AAAI/article/view/10295 代码：后续会将代码上传到Github上... 1 DDQN算法简介 ...
强化学习DQN、DDQN和Dueling DQN的原理介绍与PARL核心代码解析
秋水中的鱼的博客
07-23 2万+
摘要 本文主要介绍DQN算法的基本原理，以及在它基础上改进的DDQN和Dueling DQN，介绍完后会结合对应的PARL代码进行解析说明（PARL 是一个高性能、灵活的强化学习框架）。 三篇相关的论文地址如下，接下去的三个小节会围绕这三篇论文的重点部分进行剖析。 DQN：Human-level Control Through Deep Reinforcement Learning DDQN：Deep Reinforcement Learning with Double Q-learning Dueling
【论文笔记】强化学习DQN专题经典论文6篇
Xixoqw的博客
09-23 5816
论文列表详见：openAI spinning-up key paper list
深度强化学习 Deep Reinforcement Learning 学习整理
人工智能
07-14 1万+
这学期的一门机器学习课程中突发奇想，既然卷积神经网络可以识别一副图片，解决分类问题，那如果用神经网络去控制‘自动驾驶’，在一个虚拟的环境中不停的给网络输入车周围环境的图片，让它去选择前后左右中的一个操作，并给予适当的反馈，是否能够把‘驾驶问题’，转化为分类的问题，用神经网络解决呢。 和经典的强化学习 Reinforcement Learning 最大的区别是，它将直接处理像素级的超高维度raw
(Deep Reinforcement Learning with Double Q-learning, H. van Hasselt et al., arXiv, 2015)（dqn）练习
万德1010的博客
05-23 1929
代码使用python 2.x版本 ，tensorflow 使用1.1(cpu)版本论文地址:https://arxiv.org/abs/1509.06461===============第一个文件 replay_memory.py================================import numpy as np MEMORYSIZE = 60000class Replay_mem
深度强化学习与 Deep Q-Learning（DQN）
止于至玄
07-15 2万+
本文中我们来探讨一下深度强化学习（以DQN为主）的原理与实例。这里假设读者对强化学习的基本原理与神经网络的基本知识已经有了一定的了解。 初探深度强化学习 Deep Q-Learning Double DQN 带有优先回放的Double DQN( Prioritized Replay ) Dueling DQN 初探深度强化学习 Deep Q-Learning 这里介绍的 D...
deep reinforcement learning with double q-learning
06-28
“使用双重Q学习的深度强化学习”是一种强化学习算法，它使用双重（double）Q学习来解决传统Q学习中的估计误差问题。通过使用两个独立的Q网络来计算状态-行为值函数，可以减少估计误差，提高学习效率和稳定性。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值