【强化学习实战-05】Dueling DQN保姆级教程(1)：以Cart Pole为例

Dueling DQN

参考文献：

• Dueling Network Architectures for Deep Reinforcement Learning https://arxiv.org/abs/1511.06581
• Wang Z, Schaul T, Hessel M, et al. Dueling network architectures for deep reinforcement learning[C]//International conference on machine learning. PMLR, 2016: 1995-2003.

本笔记整理自 (作者: Shusen Wang):
https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0

Note

• Dueling Network不仅可以用在DQN，还可以用在其他地方。
• Dueling Network是一种更好的网络结构。跟DQN相比，他只是在神经网络的网络结构上做了改进。

Dueling network是在2016年发表在PMLR上的论文Dueling Network Architectures for Deep Reinforcement Learning提出的，其作者为：Google 的DeepMind团队。作者包括：Ziyu Wang、Tom Schaul、Matteo Hessel、Hado van Hasselt、Marc Lanctot、Nando de Freitas。

这篇论文中提出了一个重要的概念：Advantage function (优势函数)。下面我们来详细介绍Dueling Network。

Advantage function (优势函数)

在介绍Advantage function (优势函数)之前，首先我们需要再次回顾相关概念。

• 折扣回报(Discounted return): 也就是从$t$时刻到结束的累计总回报。$$\begin{array}{rl}{U}_t& =R_t+\gamma \cdot R_{t+1}+{\gamma }^2\cdot R_{t+2}+{\gamma }^3\cdot R_{t+3}+\cdots \\ & =\sum _{k=1}^{+\infty }{\gamma }^k{R}_{t+k}\end{array}$$

注意，大写字母都是随机变量。每一步的reward，也就是$R_t,R_{t+1},R_{t+2},\cdots$，全部是随机变量，因为我们并不知道真实、准确的reward function，只能是自己凭借经验去设置一个自己觉得合理的reward function。或者说，等待环境返回一个reward的观测值： $r_t$。

• 动作-价值函数（Action-value function）：$Q_{\pi }(s_t,a_t)$，表示在策略$\pi$下，状态为$s_t$时采取动作$a_t$，获得的总折扣回报$U_t$的期望。也就是$$Q_{\pi }(s_t,a_t)=\mathbb{E}[U_t|S_t=s_t,A_t=a_t]$$

另外，在Policy based reinforcement learning中，我们是学习状态价值函数$V_{\pi }(s)$，且$V_{\pi }(s)$等于
$$\begin{array}{rl}{V}_{\pi }(s_t)& ={\mathbb{E}}_A[Q_{\pi }(s_t,A)]\\ & =\sum _a\pi (a_t|s_t)\cdot Q_{\pi }(s_t,a_t)\approx \sum _a\pi (a_t|s_t;\theta )\cdot q(s_t,a_t;\mathbf{w})\end{array}$$
最后，我们会同时得到:

• 策略网络(policy network),也就是 Actor $\pi (a|s;\theta )$，和
• 价值网络(value network),也就是Critic $q(s,a;\mathbf{w})$。注意这个价值网络$q(s,a;\mathbf{w})$是不依赖于策略$\pi$的，因为它就是一个唯一的神经网络而已，$\pi$变化，神经网络$q(s,a;\mathbf{w})$不会变化。

虽然最后会同时得到策略网络(policy network)$\pi (a|s;\theta )$和价值网络(value network)$q(s,a;\mathbf{w})$，但是最后我们只是用策略网络(policy network)$\pi (a|s;\theta )$去做动作(相当于去求解问题)。

因此，我们引出状态-价值函数$V_{\pi }(s_t)$

• 状态-价值函数（State-value function）：$V_{\pi }(s_t)$，表示在策略$\pi$下，状态为$s_t$时会获得的总折扣回报$U_t$的期望。也就是
  $$\begin{array}{rl}{V}_{\pi }(s_t)& ={\mathbb{E}}_A[Q_{\pi }(s_t,A)]\\ & ={\mathbb{E}}_{a\sim \pi (s_t)}[Q_{\pi }(s_t,a)]\\ & =\sum _a\pi (a_t|s_t)\cdot Q_{\pi }(s_t,a_t)\end{array}$$

基于价值函数，我们因此最优价值函数的概念。

• 最优动作-价值函数（Optimal action-value function）：$Q^{\ast }(s,a)$，表示在所有可能的策略$\pi$下，状态为$s_t$时采取动作$a_t$，获得的总折扣回报$U_t$的期望的最大值。也就是$$Q^{\ast }(s_t,a_t)=\underset{\pi }{\max }{Q}_{\pi }(s,a)$$
  最优动作-价值函数（Optimal action-value function）可以直接指导Agent做动作。

• 最优状态-价值函数（Optimal state-value function）：$V^{\ast }(s)$，表示在所有可能的策略$\pi$下，状态为$s_t$时会获得的总折扣回报$U_t$的期望的最大值。也就是$$V^{\ast }(s)$$