Double DQN论文笔记

参考：https://www.cnblogs.com/pinard/p/9778063.html

Abstract

该论文证明Q-learning带来的过高估计会对训练产生负面影响，只能得到次优甚至渐进（asymptotically）的策略，并提出并推导验证了一个新的算法Double DQN可以用来减小过高估计，获得更优策略。在Atari 2600游戏中取得了比DQN更好的效果。

Background

在DQN中，DeepMind通过采用两个相同的神经网络（当前网络$\mathbf{\theta }$、目标网络${\mathbf{\theta }}^{-}$）来解决数据样本在网络训练之间的相关性。除此之外DQN还存在一些改进的地方，其中之一就是来源于Q-learning的过高估计。

在过去，人们认为高估的产生是由于不够灵活的函数估计与噪声的影响，而这篇论文给出统一的结论：当动作价值不准确时，无论估计误差的来源如何都可能出现高估。 而不精确的估计在学习中十分常见。

Update of DQN

在Q-learning中，目标Q值都是通过贪婪算法（即取max动作值）获得，而DQN同样也继承了这一点，在DQN中，损失函数定义为：
$$L_t(\mathbf{\theta })={\mathbb{E}}_{s,a\sim \pi (\cdot )}[(y_t-\mathbf{Q}(\mathbf{s},\mathbf{a};\mathbf{\theta }){)}^2]$$

而其中$y_t$为TD目标，DQN的目标值更新公式为奖励值+下一状态的最大动作值函数估计：
$$y_t^{DQN}={\mathbf{r}}_{t+1}+\gamma \underset{a^{\prime }}{\max }\mathbf{Q}({\mathbf{s}}_{t+1},{\mathbf{a}}^{\prime };{\mathbf{\theta }}^{-})$$

参数梯度更新公式为：
$$\begin{array}{rl}{\mathbf{\theta }}_{t+1}={\mathbf{\theta }}_t+\alpha [\mathbf{r}+\gamma \underset{a^{\prime }}{\max }\mathbf{Q}& ({\mathbf{s}}^{\prime },{\mathbf{a}}^{\prime };{\mathbf{\theta }}^{-})-\mathbf{Q}(\mathbf{s},\mathbf{a};\mathbf{\theta })]\nabla \mathbf{Q}(\mathbf{s},\mathbf{a};\mathbf{\theta })\\ {\mathbf{\theta }}^{-}& =\mathbf{\theta }every\tau steps\end{array}$$

这种选取max值进行更新的方法虽然可以快速收敛，但也会带来对动作值函数的过高估计。尽管乐观的估计本身不一定有问题，如果所有值都一致的高，那么相对偏好被保留，得到的策略结果也不会更差；但如果不一致，那么就会得到不好的策略。因此为了解决由于max操作带来的高估影响，本文对目标值更新公式进行改变并加以证明，减少高估并得到更好的策略。

Technology

Double DQN模拟DQN的网络结构，同样创建两个相同的网络（当前网络$\mathbf{\theta }$、目标网络${\mathbf{\theta }}^{-}$），其中目标网络在训练过程中不会自主更新，而是采用hard-update的方式，每$\tau$步将当前网络参数$\mathbf{\theta }$复制给${\mathbf{\theta }}^{-}$，以此更新目标网络。

Update of DDQN

为了解决max操作带来的过度估计（over estimation），Double DQN结合2010年提出的Double Q-learning方法，得到新的目标值更新公式以及对应的参数更新：
$$\begin{array}{rl}{y}_t^{DoubleQ}& ={\mathbf{r}}_{t+1}+\gamma \mathbf{Q}({\mathbf{s}}_{t+1},\arg \underset{a^{\prime }}{\max }\mathbf{Q}({\mathbf{s}}_{t+1},{\mathbf{a}}^{\prime };\mathbf{\theta });{\mathbf{\theta }}^{-})\\ {\mathbf{\theta }}_{t+1}& ={\mathbf{\theta }}_t+\alpha [y_t^{DoubleQ}-\mathbf{Q}(\mathbf{s},\mathbf{a};\mathbf{\theta })]\nabla \mathbf{Q}(\mathbf{s},\mathbf{a};\mathbf{\theta })\\ {\mathbf{\theta }}^{-}& =\mathbf{\theta }every\tau steps\end{array}$$

Double DQN的公式可以视为将目标值解耦成动作的选择与动作的评估两部分，分别采用当前网络$\mathbf{\theta }$选出使得下一状态目标Q值最大的动作，以及利用目标网络${\mathbf{\theta }}^{-}$计算下一状态的目标Q值，通过将两个不同的参数放入对TD目标的计算中，降低样本训练时的相关性和对Q值函数的过度估计程度。

Hyper-parameters of DDQN

Double DQN在实验中以不同的初始状态训练来获得更通用的策略。为了与DQN的表现进行对比，Double DQN神经网络超参数设置大体与DQN一致，但由于二者之间存在差异，还是进行了几点改动：

1. 增加目标网络每两个副本间的帧数量（从10000到30000）；
2. 减小探索率（从0.1到0.01）并在评估时为0.001；
3. 在网络最高层为所有动作使用同一共享的偏差。

以上三个改变都提高了DDQN的性能，并在一起带来了更好的表现。

discount to $\gamma =0.99$　　　　learning rate to $\alpha =0.00025$
number of steps between target network updates was $\tau =10,000$.
train is done over 50M steps.
every 1M steps is evaluated
size of experience replay memory is 1M
the memory get sampled every 4 steps with minibatches of size 32
the exploration rate decrease linearly from 1 to 0.1 over 1M steps.

Code

给出Double DQN的伪代码

初始化经验回放区$\mathbf{D}$，随机初始化当前网络参数$\mathbf{\theta }$，目标网络参数${\mathbf{\theta }}^{-}$
For 每一轮实验 do
　　初始化状态$s$，拿到其特征向量$\phi (s)$，step=1
　　while　$s_t$不是终点状态　do
　　　　以$\epsilon$的概率得到随机动作$a_t$，以$1-\epsilon$的概率得到动作
　　　　$a_t=\arg \underset{a}{\max }Q(\phi (s_t),a;\theta )$
　　　　执行动作$a_t$，得到下一状态$s_{t+1}$和回报$r_{t+1}$，得到特征向量$\phi (s_{t+1})$
　　　　将样本$e_t=({\phi }_t,a_t,r_{t+1},{\phi }_{t+1})$存入经验回放区$\mathbf{D}$
　　　　$s_t=s_{t+1}$
　　　　从经验回放区$\mathbf{D}$中随机均匀取出n个样本$e_{k_1},e_{k_2},......,e_{k_n}$计算当前目标Q值$y_k$
　　　　$y_k=\{\begin{array}{rcl}& r_{k+1}& \text{is end}\\ & {\mathbf{r}}_{k+1}+\gamma \mathbf{Q}({\mathbf{\phi }}_{k+1},\arg \underset{a^{\prime }}{\max }\mathbf{Q}({\mathbf{\phi }}_{k+1},{\mathbf{a}}^{\prime };\mathbf{\theta });{\mathbf{\theta }}^{-})& \text{is not end}\end{array}$
　　　　计算均方差损失函数$L_t(\mathbf{\theta })=\frac{1}{n}\sum _{k=1}^n[(y_k-\mathbf{Q}({\mathbf{\phi }}_k,{\mathbf{a}}_k;\mathbf{\theta }){)}^2]$，通过神经网络的梯度反向传播来更新当前网络的所有参数$\mathbf{\theta }$
　　　　如果step%$\tau$=1，则对目标网络进行硬更新${\mathbf{\theta }}^{-}=\mathbf{\theta }$
　　End while
End For

DRL、连续状态离散动作问题、单智能体、off-policy、值估计、改进值估计的方法