解读continuous control with deep reinforcement learning（DDPG）

本文为博主“声时刻”原创文章，未经博主允许不得转载。
联系方式：shenshikexmu@163.com

缘起

DDPG，是Google Deepmind第一篇关于连续动作的深度加强学习论文（是否第一篇存疑）。DQN（Deep Q Network）生成的策略执行的动作是离散或者低维的，虽然在状态输入上可以是高维的观察状态。如在DQN2014中，有效的动作在4到18个之间，而输入的状态是84×84×4的图片。相对于连续动作，DQN的动作空间太小了，原文的to to simply，使得DQN瞬间沦为香港记者，呵呵。文中举的例子，是7个自由度（DOF）的机械臂，只是粗糙的控制，每一个DOF只有三种动作状态 a i ∈ { − k , 0 , k } a_i\in\{-k,0,k\} ai​∈{−k,0,k}，那么整个机械臂的运动状态就有$3^7=2187$。这样的动作空间，DQN在学习中很难一一搜索，更何况一个DOF很难只有三种动作状态。再加上，简单离散的动作空间中的动作是不需要根据运动空间的结构进行动作取舍，而在复杂动作操作时这样的取舍是基本的（Additionally, naive discretization of action spaces needlessly throws away information about the structure of the action domain, which may be essential for solving many problems）。发现这句话理解起来有点难，我的理解是（不保证对），由于DQN运动状态空间比较少，所有的运动状态在策略学习时都可以遍历，取舍的问题直接由策略决定，但连续动作的控制就不行了，不可能每个动作都遍历，形成策略，策略决定动作取舍。
于是需要新的深度强化学习方法，来解决连续动作空间的策略问题。

背景知识

$s_t=(x_1,a_1,...,a_{t-1},x_t)$
状态动作轨迹

$\pi :S\to P(A)$
策略概率$\pi$ ，$\pi$首先是概率分布，这对理解强化学习很重要。不同的状态，所对应的不同动作出现的概率。也就是对于特定的$S_i$状态，$P(A_i)$是个概率分布，如在$S_i$状态下，选择$A_1$的动作概率是$P(A_1)$，选择$A_2$的动作概率是$P(A_2)$。

$p(s_{t+1}\mid s_t,a_t)$
状态转移概率，当前状态是$s_t$，在此状态下完成$a_t$动作，下一个状态变成$s_{t+1}$的概率。

$r(s_t,a_t)$
回报函数，这里给出的$r$值，可不是单独在$s_t$状态下，完成$a_t$的回报（算法要求出的$Q(s_t,a_t)$是单独在$s_t$状态下，完成$a_t$的回报），而是之前所有动作在当时特定状态下的回报的累加。也就是之前的动作对当前的$r$值也是有贡献的。

$R_t={\sum }_{i=t}^T{\gamma }^{i-t}r(s_i,a_i)$
$R_t={\gamma }^{0}r(s_t,a_t)+{\gamma }^{1}r(s_{t+1},a_{t+1})+...{\gamma }^{T-t}r(s_T,a_T)$
折扣累计奖赏，这是在$s_t$状态下，完成$a_t$后，在接下来的$T-t$步后，$s_t$状态和动作$a_t$，累加的奖赏。$R_t$更接近算法求出的$Q(s_t,a_t)$。说是接近，在于$Q(s_t,a_t)$更像是量子力学中的叠加态，它是概率分布的，$R_t$更像是坍缩态，也就是你已经知道薛定谔的猫是死是活的结果。

$J=E_{r_i,s_i\sim E,a_i\sim \pi }[R_1]$
首先这是个期望值，这是全篇论文理解的一个眼，这个公式理解了，论文思想理解80%了。里面包含$s_i\sim E$，用周志华《机器学习》中p378中（16.8）的表示方式为$P_{s_i\to s_{i+1}}^{a_i}$，在状态$s_i$下，动作$a_i$产生下一个状态为$s_{i+1}$的概率。$a_i\sim \pi$为上面讲的策略概率。在DPG2014第一个公式写得更容易理解：
$$\begin{gathered} J({\pi }_{\theta })={\int }_S{\rho }^{\pi }(s){\int }_A{\pi }_{\theta }(s,a)r(s,a)dads \\ =E_{s\sim {\rho }^{\pi },a\sim {\pi }_{\theta }}[r(s,a)] \end{gathered}$$
两个公式是一样的，在概率策略${\pi }_{\theta }$下，所有的状态对应动作概率下回报的期望，这么说也很难理解吧，通俗一点，有点像原子核周围的电子云，原子核周围的电子并不像地球、火星之类有明确的轨道，其状态也是呈概率分布，$J$相当于电子云带的能量。

$ Q^{\pi}(s_t,a_t)=E_{r_{i \ge t},s_i>t\sim{E},a_i>t\sim{\pi}}[R_t\mid s_t,a_t]\qquad(1) $
文中第一个标号的公式，也是期望值，类似前面的解释，再说一点，$\pi$和$E$都是很多动作或者状态的叠加，叠加的权值是概率。打符号开始差点打错了，是$i\ge t$,而不是$r_i\ge t$。也就是说$i$是一个长的序列。在下面的公式中$i$就只是下一步了。

$ Q^{\pi}(s_t,a_t)=E_{r_t ,s_{t+1}\sim{E}}[r(s_t,a_t)+\gamma E_{a_{t+1}\sim {\pi}}[Q^{\pi}(s_{t+1},a_{t+1})]]\qquad(2)$
Bellman等式，由上面的公式变形来的，也是期望值。有点像信号处理的Z变换（傅立叶变换是Z变换的特殊形式），把时域的信号转化成频域的信号。$Q^{\pi }(s_t,a_t)$脱掉了长长的$i$，只对应$t+1$的时刻，注意这里是$Q^{\pi }(s_t,a_t)$和$Q^{\pi }(s_{t+1},a_{t+1})$都是期望值。

$ Q^{\mu}(s_t,a_t)=E_{r_t ,s_{t+1}\sim{E}}[r(s_t,a_t)+\gamma Q^{\mu}(s_{t+1},\mu(s_{t+1}))]\qquad(3)$
当策略概率$\pi$，坍缩成目标策略$\mu$时，$（2）$中的中括号期望变成了确定$\mu (s_{t+1}）$对应的动作。但$Q^{\mu }(s_t,a_t)$仍旧是个期望值，因为这样的式子$P_{s_i\to s_{i+1}}^{a_i}$，同样状态$s_i$下同样动作$a_i$产生的结果并不是固定的。同样$Q^{\pi }(s_{t+1},a_{t+1})$也都是期望值。

$L({\theta }^Q)=E_{s_t\sim {\rho }^{\beta },a_t\sim \beta ,r_t\sim E}[(Q(s_t,a_t\mid {\theta }^Q)-y_t{)}^2](4)$
其中
$y_t=r(s_t,a_t)+\gamma Q(s_{t+1},\mu (s_{t+1})\mid {\theta }^Q)(5)$
其中
$\mu (s)=argma{x}_{a}Q(s,a)$是贪心算法，选择期望最大回报的执行动作。由于算法采用“异策略“(off-policy)，也就是被评估与被改进的不是同一个策略，被评估的策略是随机动作策略$\beta$。

算法

算法利用了DQN2014中的”行为-评价”方法（actor-critic），建立两个神经网络，一个行为函数网络（actor function）$\mu (s\mid {\theta }^{\mu })$，其中${\theta }^{\mu }$是其神经网络的参数；一个评价函数网络（critic）$Q(s,a\mid {\theta }^Q)$，其中${\theta }^Q$是其神经网络参数。

算法在迭代的过程中，评价函数网络$Q(s,a\mid {\theta }^Q)$通过bellman等式，也就是（4）（5），使得$L({\theta }^Q)$越来越小，这样$Q(s,a\mid {\theta }^Q)$越来越接近实际值（对场景的建模越来越精准）；与此同时，提供一种优化$\mu (s\mid {\theta }^{\mu })$方法，使得回报期望$J$变得越来越大。而$J$的梯度函数，在${\theta }^Q$固定的情况下，只与$\mu (s\mid {\theta }^{\mu })$有关。

$$\begin{gathered} {\nabla }_{{\theta }^{\mu }}J\approx E_{s_t\sim {\rho }^{\beta }}[{\nabla }_{{\theta }^{\mu }}Q(s,a\mid {\theta }^Q){\mid }_{s=s_t,a=\mu (s_t\mid {\theta }^{\mu })}] \\ =E_{s_t\sim {\rho }^{\beta }}[{\nabla }_{{\theta }^{\mu }}Q(s,a\mid {\theta }^Q){\mid }_{s=s_t,a=\mu (s_t)}{\nabla }_{{\theta }^{\mu }}\mu (s\mid {\theta }^{\mu }){\mid }_{s=s_t}](6) \end{gathered}$$

一次迭代后的产生的新的$\mu (s\mid {\theta }^{\mu })$，将在探索过程发挥作用。

算法框架图

算法中$J$函数只给了梯度，博主推测如下：
$J({\theta }^{\mu })\approx \frac{1}{N}\sum _{i}Q(s_i,a\mid {\theta }^Q){\mid }_{a=\mu (s_i)}$