强化学习（二）——Dueling Network（DQN改进）

与DNQ相比，使用优势函数(A函数)和状态价值函数（V）代替之前的Q(动作价值)函数，
最核心公式为$Q^{\ast }(s,a)=A^{\ast }(s,a)+V^{\ast }(s)-{\max }_a{A}^{\ast }(s,a)$。

核心公式演变：
基本公式 $A^{\ast }(s,a)=Q^{\ast }(s,a)-V^{\ast }(s)$
变化公式1 $Q^{\ast }(s,a)=A^{\ast }(s,a)+V^{\ast }(s)$
变化公式2 $Q^{\ast }(s,a)=A^{\ast }(s,a)+V^{\ast }(s)-{\max }_a{A}^{\ast }(s,a)$

1 基本概念

• 动作价值函数：$Q_{\pi }(s_t,a_t)=E[U_t|S_t=s_t,A_t=a_t]$

• 状态价值函数：$V_{\pi }(s_t)=E_A[Q_{\pi }(s_t,A)]$

• 最优动作价值函数：$Q^{\ast }(s_t,a_t)=ma{x}_{\pi }{Q}_{\pi }(s_t,a_t)$

• 最优状态价值函数：$V^{\ast }(s)={\max }_{\pi }{V}_{\pi }(s)={\max }_a{Q}^{\ast }(s_t,a)$

• 最优优势函数；$A^{\ast }(s,a)=Q^{\ast }(s,a)-V^{\ast }(s)$

2 公式定义及推导

2.1 公式定义

$V^{\ast }(s)={\max }_a{Q}^{\ast }(s_t,a)$。（公式1）
$A^{\ast }(s,a)=Q^{\ast }(s,a)-V^{\ast }(s)$ （公式2）
$Q^{\ast }(s,a)=A^{\ast }(s,a)+V^{\ast }(s)$ （公式3）

2.2 公式推导${\max }_a{A}^{\ast }(s,a=0$

$$\begin{gathered} \underset{a}{\max }{A}^{\ast }(s,a)=ma{x}_a{Q}^{\ast }(s,a)-ma{x}_a{V}^{\ast }(s) \\ =ma{x}_a{Q}^{\ast }(s,a)-V^{\ast }(s) \\ =ma{x}_a{Q}^{\ast }(s,a)-ma{x}_a{Q}^{\ast }(s,a) \\ =0 \end{gathered}$$
可得${\max }_a{A}^{\ast }(s,a)=0$

2.3 核心公式3优化

公式3 右边减掉为0的${\max }_a{A}^{\ast }(s,a)$ 等式依然成立
$Q^{\ast }(s,a)=A^{\ast }(s,a)+V^{\ast }(s)$
$Q^{\ast }(s,a)=A^{\ast }(s,a)+V^{\ast }(s)-{\max }_a{A}^{\ast }(s,a)$

2.2 使用神经网络代替A和V函数

$Q^{\ast }(s,a,w^A,w^V)=A^{\ast }(s,a,w^A)+V^{\ast }(s,w^V)-{\max }_a{A}^{\ast }(s,a,w^A)$

3 公式为什么要加${\max }_a{A}^{\ast }(s,a,w^A)$？

主要是为了克服神经网络一致性问题，防止网络波动，${\max }_a{A}^{\ast }(s,a,w^A)$起到了约束作用。
比如；
1 没有约束项，A网络增加10，V网络减少10，Q值不变
2 增加约束项，A网络增加10，V网络减少10，则Q值增大10，因为对A网络取最大值时增加了10。同理A网络减少10，V网络增加10，则Q网络减少了10.

解释：约束V网络向A网络最大负值靠近，约束V网络和A网络。