深度强化学习系列(5): Double Q-Learning原理详解

论文地址： https://papers.nips.cc/paper/3964-double-q-learning.pdf

本论文由DeepMind发表于2015年NIPS的一篇论文，作者Hasselt。

前言： Q-Learning算法由于受到大规模的动作值过估计(overestimation)而出现不稳定和效果不佳等现象的存在，而导致overestimation的主要原因来自于最大化值函数(max)逼近，该过程目标是为了最大的累计期望奖励，而在这个过程中产生了正向偏差。而本文章作者巧妙的是使用了两个估计器(double estimator)去计算Q-learning的值函数，作者将这种方法定义了一个名字叫“Double Q-learning”（本质上一个off-policy算法），并对其收敛过程进行了证明(缺点：当然double Q-learning算法有时会低估动作值，但不会像Q学习那样遭受过高估计）

1. 问题及原因

“过估计” (overestimate)

过估计是指对一系列数先求最大值再求平均，通常比先求平均再求最大值要大（或相等，数学表达为：$E(\max (X1,X2,...))\ge \max (E(X1),E(X2),...)$

一般来说Q-learning方法导致overestimation的原因归结于其更新过程，其表达为：
$$Q_{t+1}\left(s_t,a_t\right)=Q_t\left(s_t,a_t\right)+{\alpha }_t\left(s_t,a_t\right)\left(r_t+\gamma \underset{a}{\max }{Q}_t\left(s_{t+1},a\right)-Q_t\left(s_t,a_t\right)\right)$$

其中的 $\underset{a}{\max }$ 表示为最大化action-value, 而更新最优化过程如下：
$$\forall s,a:Q^{\ast }(s,a)=\sum _{s^{\prime }}{P}_{sa}^{s^{\prime }}\left(R_{sa}^{s^{\prime }}+\gamma \underset{a}{\max }{Q}^{\ast }\left(s^{\prime },a\right)\right)$$

对于任意的$s,a$ 来说，最优值函数 $Q^{\ast }$ 的更新依赖于 $\underset{a}{\max }{Q}^{\ast }(s,...)$, 从公式中可以看出，我们把N个Q值先通过取max操作之后，然后求平均(期望)，会比我们先算出N个Q值取了期望之后再max要大。这就是overestimate的原因。

注： 一般用于加速Q-learning算法的方法有：Delayed Q-learning, Phased Q-learning, Fitted Q-iteration等

2. Estimator原理与思想

通常情况下对于一个集合中的变量 X = { X 1 , X 2 , . . . , X M } X= \left\{ X_{1},X_{2},...,X_{M} \right\} X={ X1​,X2​,...,XM​}来说，奖励的最大化累计期望表示为：
max ⁡ a E { X i } \max \limits_{a} E \left\{ X_{i} \right\} amax​E{ Xi​}

那么在实际的过程中，对于每个 X i X_{i} X