Double DQN

• 论文链接：https://arxiv.org/pdf/1509.06461.pdf
• 论文题目：Deep Reinforcement Learning with Double Q-learning

Double DQN

Abstract

Q-learning算法在特定情况下会存在过估计action values的情况。这种情况在实际应用中很普遍，而且会影响算法效果。之前并不知道原因以及能不能避免这种情况。本文我们会回答这两个问题。首先我们会在Atari领域中展示近期DQN算法出现的过估计问题，然后阐释Double Q-learning算法的思想。

Introduction

强化学习的目的是针对序列决策问题通过优化累积未来回报，来学会一个好的策略。Q-learning是其中一种流行的强化学习算法，但是已知有时候会学习到不现实的高动作价值，这是因为在估计动作价值的时候包含了一步最大值操作，这会使得agent倾向于过估计。
在之前的研究中，过估计的原因是不足够灵活的函数逼近以及噪声。本文，我们统一下这些观点，然后证明过估计会发生在动作价值不准确的时候，与函数逼近误差无关。当然，学习过程中不准确的价值预测是很常见的，这就说明过估计的发生可能比我们认为的还要普遍。
过估计的发生是否会对实际中的算法性能产生不良影响是一个开放问题。过分乐观的价值估计其实本质上并不是一个问题。如果所有的values都均匀的高于相对的参考actions，那么对于policy来说并不会有影响。甚至，有些时候乐观估计是有好处的：在面对不确定的时候，乐观主义是一种知名的探索方法。然而问题就是过估计是不均匀的，而且并不集中在我们想要更多去学习的states里。因此，它们会对policy性能产生坏影响。Thrun和Schwartz给出了具体的例子来证明这会导致最后渐进的收敛于次优。
我们证明Double Q-learning算法的思想可以泛化到任意的函数逼近的方法中，包括深度神经网络。我们使用该算法构建了一种新的算法，叫做Double DQN。该算法不仅得到更准确的价值预测，还在多个游戏中取得了更高的分数。

Background

这部分以及DQN部分我就不重复了，Dueling Network有类似的部分，就列一下会用到的方程
Q-learning的Q-target
$$Y_t^Q\equiv R_{t+1}+\gamma \underset{a}{\max }Q(S_{t+1},a;{\theta }_t)\text{\hspace{1em}(2)}$$
DQN的Q-target
$$Y_t^{DQN}\equiv R_{t+1}+\gamma \underset{a}{\max }Q(S_{t+1},a;{\theta }_t^{-})\text{\hspace{1em}(3)}$$

Double Q-learning

在标准Q-learning和DQN，也就是公式（2）和（3）中，使用了相同的value来选择和评估一个action。这就会使得大概率选择过估计的value，进而导致value的过乐观估计。为了防止这个问题，我们将评估和选择解耦合。这就是Double Q-learning（van Hasselt 2010）背后的核心思想。
在原始的Double Q-learning算法中，一共要学习两个价值函数（$\theta$和${\theta }^{\prime }$），每次学习都是将样本随机的用来更新其中一个价值函数。每一次更新，其中一套参数用来决定贪心策略（选择动作），另一个来确定value（评估动作）。为了作一个清晰的对比，我们可以先将Q-learning的选择和评估分解开，重新书写公式（2）：
$$Y_t^Q=R_{t+1}+\gamma Q(S_{t+1},\arg \underset{a}{\max }Q(S_{t+1},a;{\theta }_t);{\theta }_t)$$
对比Double Q-learning的target是：
$$Y_t^{DoubleQ}=R_{t+1}+\gamma Q(S_{t+1},\arg \underset{a}{\max }Q(S_{t+1},a;{\theta }_t);{\theta }_t^{\prime })\text{\hspace{1em}(4)}$$
注意到动作的选择仍然是使用在线权重${\theta }_t$。这意味着，就像在Q-learning里，我们仍然是根据当前value（${\theta }_t$）来估计贪心策略的value。然而，使用第二套参数（${\theta }_t^{\prime }$）来评价policy的value。通过变换${\theta }_t$和${\theta }_t^{\prime }$的角色，第二套参数也可以被更新。

Overoptimism due to estimation errors

Q-learning的过估计首先被Thrun和Schwartz发现的，他们发现如果一个action values含有均匀分布在区间$[-ϵ,ϵ]$内的随机误差，那么每个target就会被过估计$\gamma ϵ\frac{m-1}{m+1}$，这里$m$代表动作的数量。此外，他们还给出了一个具体的例子，这个例子里过估计会导致算法渐进地收敛到次优策略。后续 van Hasselt认为env里的噪声也会导致过估计，甚至在运用表格的时候，然后提出Double Q-learning是一个解决办法。
本节，我们会更加一般化地来说明任何的估计误差都会导致一个向上的偏置，不论这个误差是因为环境噪声，函数逼近，非平稳性还是什么源头。这非常重要，因为实际中任意方法在学习过程中都会引起一些不准确，因为最初我们对真值是一无所知的。
Thrun和Schwartz给出了在具体步骤中的过估计的上限，同时也可能可以推导出下限。
Theorem 1. 考虑一个state s，在这个state上，所有的真最优动作价值都等于某个$V_{\ast }(s)$，$Q_{\ast }(s,a)=V_{\ast }(s)$。定义Q_t是一个任意的价值估计，该估计整体上来说是无偏的，也就是${\sum }_a(Q_t(s,a)-V_{\ast }(s))=0$，但是它们并不都等于最优，也就是$\frac{1}{m}{\sum }_a(Q_t(s,a)-V_{\ast }(s){)}^2=C$，这里$C>0$，且$m\ge 2$是s里的actions的数量。在这样的条件下，${\max }_a{Q}_t(s,a)\ge V_{\ast }(s)+\sqrt{}$