王树森强化学习笔记——dueling network

价值学习

了解dueling network之前你还需要一定的DQN基础，可以看我的上一篇博客简单了解一下（王树森强化学习笔记——价值学习），或者学习王树森教授的强化学习课程。

Dueling DQN

advantage function

在引入优势函数之前我们先复习一下之前所学的最优动作价值函数和最优状态价值函数：

• 最优动作价值函数$Q^{\ast }$:
  $$Q^{\ast }(s,a)=ma{x}_{\pi }Q(s,a)$$

• 最优状态价值函数$V^{\ast }$:
  $$V^{\ast }(a)=ma{x}_{\pi }V(s)$$

其中$\pi$是策略函数，用来控制agent的行为，当agent学习到了最好的策略函数时，此时的动作价值函数和状态价值函数可以取到最大值，这也是为什么要用神经网络来近似这两个函数的原因。

最优优势函数$A^{\ast }$:
$$A^{\ast }(s,a)=Q^{\ast }(s,a)-V^{\ast }(s)$$
将最优状态价值函数作为基准，在当前状态下，用最优动作价值函数减去最优价值函数，可以衡量出当前状态下动作的优势值，即当前做什么动作接下来是有利的。

• 理论一：$V^{\ast }(s)=ma{x}_a{Q}^{\ast }(s,a)$

  • 即要想让状态价值函数最优，每次应该选择执行动作价值函数中动作价值最大的动作。

• 理论二：$Q^{\ast }(s,a)=V^{\ast }(s)+A^{\ast }(s,a)-ma{x}_a{A}^{\ast }(s,a)$

  • 我们对$A^{\ast }(s,a)=Q^{\ast }(s,a)-V^{\ast }(s)$等式两边同时取最大化操作，根据理论一可以得到：$ma{x}_a{A}^{\ast }(s,a)=ma{x}_a{Q}^{\ast }(s,a)-V^{\ast }(s)=0$，即得到$ma{x}_a{A}^{\ast }(s,a)=0$

  • $$\begin{gathered} \because A^{\ast }(s,a)=Q^{\ast }(s,a)-V^{\ast }(s) \\ \therefore Q^{\ast }(s,a)=V^{\ast }(s)+A^{\ast }(s,a) \\ 又\because ma{x}_a{A}^{\ast }(s,a)=0 \\ \therefore Q^{\ast }(s,a)=V^{\ast }(s)+A^{\ast }(s,a)-ma{x}_a{A}^{\ast }(s,a) \end{gathered}$$

Dueling Network

由理论二我们可以对DQN网络进行改进：

使用一个神经网络来近似最优状态价值函数$V^{\ast }$，记作$V^{\ast }(s;w^V)$，其中$w^V$是神经网络的参数.

如上图所示，首先对图像进行卷积提取图像的特征，然后用一个全连接层来近似最优状态价值函数，输出对这个状态的价值预测V。

使用一个神经网络来近似最优动作价值函数$A^{\ast }$，记作$A^{\ast }(s,a;w^A)$,其中$w^A$是神经网络的参数如下，图所示：

$A^{\ast }$的输出和原始的DQN一致，是对每个动作的优势打分。

根据理论二，对最优动作价值函数$Q^{\ast }$，我们可以写成：
$$Q^{\ast }(s,a;w^V,w^A)=V^{\ast }(s;w^V)+A^{\ast }(s,a;w^A)-ma{x}_a{A}^{\ast }(s,a;w^A)$$
注意，这里只是将原始的DQN网络结构进行了改变，实际dueling network所做的还是对最优动作价值函数$Q^{\ast }$近似，所以，dueling network和DQN的训练方法完全一致！

根据上式，我们可以将DQN的网络改成下面的结构：

因为$A^{\ast }(s,a;w^A)$和$V^{\ast }(s;w^V)$都需要用到图像的特征，所以让他们共享卷积层，经过两个全连接层得到红色和蓝色向量。其中红色的向量代表的是$A^{\ast }(s,a;w^A)$的输出，蓝色向量是$V^{\ast }(s;w^V)$的输出，接下来，根据公式进行拼接，将红色向量的每个值加上蓝色向量的值，再减去红色向量中的最大值，就得到了紫色的向量，即Q值。

Overcome non-identifiability

上面的学习我们明白了dueling network是什么，怎么做的，但是还有一个问题，就是为什么要强行执行$-ma{x}_a{A}^{\ast }(s,a;w^A)$这一动作，而不是直接将两个网络的输出相加，因为从公式上来说，$ma{x}_a{A}^{\ast }(s,a;w^A)$的值为0，是可有可无的，下面来分析一下为什么要这么做？

• 不确定性：假设我们不进行$-ma{x}_a{A}^{\ast }(s,a;w^A)$这一操作，只将两个网络的输出想加，那么这样的两个网络是不确定的，例如我们令近似出来的$V^{\ast }(s;w^V)=V^{\ast }-10$,近似出来的$A^{\ast }(s,a;w^A)=A^{\ast }+10$,那么$Q^{\ast }(s,a)=V^{\ast }+A^{\ast }=V^{\ast }(s;w^V)+A^{\ast }(s,a;w^A)$，这样的网络有无数个。
• 不确定性会带来什么危害呢？在训练中，如果神经网络A和V上下波动并且幅度相同方向相反，那么dueling network的输出完全一致，这会导致网络不再关注V网络和A网络的值，而是关注最后的输出值，显然这是不对的，使用$Q^{\ast }(s,a;w^V,w^A)=V^{\ast }(s;w^V)+A^{\ast }(s,a;w^A)-ma{x}_a{A}^{\ast }(s,a;w^A)$可以解决这个问题，同样的，如果V和A上下波动，幅度相同但方向相反，而此时$Q^{\ast }$的值也会跟着浮动，这样最后训练好的V和A网络会趋于稳定。
• 实际上在训练中，dueling network常常采用$Q^{\ast }(s,a;w^V,w^A)=V^{\ast }(s;w^V)+A^{\ast }(s,a;w^A)-mea{n}_a{A}^{\ast }(s,a;w^A)$而不是减去最大化$A^{\ast }$的值，因为实验结果表明减去均值最终取得的效果要更好。

小结

• dueling network实际上就是将DQN的网络架构进行了更改，其更改的理论依据为：
  $$Q^{\ast }(s,a;w^V,w^A)=V^{\ast }(s;w^V)+A^{\ast }(s,a;w^A)-mea{n}_a{A}^{\ast }(s,a;w^A)$$

• dueling network控制agent做决策的原理和DQN一样，所以训练dueling network和训练DQN的方法也是一样的。

• 训练dueling network是训练整个网络，而不是要单独训练$V^{\ast }$和$A^{\ast }$这两个网络。