深度强化学习（DRL）算法 2 —— PPO 之 Clipped Surrogate Objective 篇

在之前的文章里介绍了 深度强化学习（DRL）算法 1 —— REINFORCE，提出了两个缺点，其中缺点一，在后续提出的 DRL 算法 PPO 解决了，今天我们就来看看大名鼎鼎的 PPO 算法。

回顾

在 REINFORCE 算法里，用于产生 $\tau$ 的策略和用来学习的策略（on-policy）是同一个，导致 $\tau$ 不能复用，使得训练效率很低。那么直觉上，是不是把这两个策略分开来，一个用来产生 $\tau$ ，一个用来学习（off-policy），是不是就可以了呢？答案是，对的！PPO 也是这么做的，接下来，我们来看看算法描述（建议先阅读 深度强化学习（DRL）算法 1 —— REINFORCE，文章接下来用文1指代这篇文章）。

算法描述

根据文1，最大期望回报表达如下：

$${\bar{R}}_{\theta }=E_{\tau \sim p_{\theta }(\tau )}[R(\tau )]=\sum _{\tau }{p}_{\theta }(\tau )R(\tau )$$

现在我们希望有一个新的策略 q，用来产生 $\tau$ ，原有策略 p 用来学习，那么我们可以对 ${\bar{R}}_{\theta }$ 做如下修改：

$${\bar{R}}_{\theta }=\sum _{\tau }{q}_{{\theta }^{\prime }}(\tau )\frac{p_{\theta }(\tau )}{q_{{\theta }^{\prime }}(\tau )}R(\tau )=E_{\tau \sim q_{{\theta }^{\prime }}(\tau )}[\frac{p_{\theta }(\tau )}{q_{{\theta }^{\prime }}(\tau )}R(\tau )]$$
（Importance Sampling）
为了写起来方便，我们用 g 来表示文1里的
$$\nabla \bar{R}(\theta )$$
，那么新的 g 如下：

$$\begin{gathered} g={\nabla }_{\theta }\sum _{\tau }{q}_{{\theta }^{\prime }}(\tau )\frac{p_{\theta }(\tau )}{q_{{\theta }^{\prime }}(\tau )}R(\tau ) \\ =\frac{1}{m}\sum _{i=1}^{m}R({\tau }^{(i)})\sum _{t=1}^T\frac{p_{\theta }({\tau }^{(i)})}{q_{{\theta }^{\prime }}({\tau }^{(i)})}{\nabla }_{\theta }log{p}_{\theta }(a_t^{(i)}|s_t^{(i)}) \\ =\frac{1}{m}\sum _{i=1}^{m}R({\tau }^{(i)})\sum _{t=1}^T\frac{p_{\theta }({\tau }^{(i)})}{q_{{\theta }^{\prime }}({\tau }^{(i)})}\frac{{\nabla }_{\theta }{p}_{\theta }(a_t^{(i)}|s_t^{(i)})}{p_{\theta }(a_t^{(i)}|s_t^{(i)})} \\ =\frac{1}{m}\sum _{i=1}^{m}R({\tau }^{(i)})\sum _{t=1}^T\frac{{\prod }_{t=0}^T{p}_{\theta }(a_t^{(i)}|s_t^{(i)})p(s_{t+1}^{(i)}|s_t^{(i)},a_t^{(i)})}{{\prod }_{t=0}^T{q}_{{\theta }^{\prime }}(a_t^{(i)}|s_t^{(i)})q(s_{t+1}^{(i)}|s_t^{(i)},a_t^{(i)})}\frac{{\nabla }_{\theta }{p}_{\theta }(a_t^{(i)}|s_t^{(i)})}{p_{\theta }(a_t^{(i)}|s_t^{(i)})} \\ \approx \frac{1}{m}\sum _{i=1}^{m}R({\tau }^{(i)})\sum _{t=1}^T\frac{{\nabla }_{\theta }{p}_{\theta }(a_t^{(i)}|s_t^{(i)})}{q_{\theta }^{\prime }(a_t^{(i)}|s_t^{(i)})} \end{gathered}$$

这里对 g 取了近似，那么上面的
$${\bar{R}}_{\theta }$$
也可以近似为：

$${\bar{R}}_{\theta }\approx E_{\tau \sim q_{{\theta }^{\prime }}(\tau )}[\frac{p_{\theta }(a_t|s_t)}{q_{\theta }^{\prime }(a_t|s_t)}R(\tau )]$$

这就是论文里说的 Surrogate Objective，那这里是不是直接求导，使得新的期望回报值最大就行了吗？
当然不是！注意上面 g 近似成立的前提是 p 和 q 的值差距不大，如果差距太大的话，等式就不成立了，求导也没有意义，所以我们需要对 Surrogate Objective 进行截断，让 p 和 q 的值不要差距太大。
所以有了 Clipped Surrogate Objective：

$$E_{\tau \sim q_{{\theta }^{\prime }}(\tau )}[min(\frac{p_{\theta }(a_t|s_t)}{q_{\theta }^{\prime }(a_t|s_t)}R(\tau ),clip(\frac{p_{\theta }(a_t|s_t)}{q_{\theta }^{\prime }(a_t|s_t)},1-ϵ,1+ϵ)R(\tau ))]$$

clip 代表把 $\frac{p_{\theta }(a_t|s_t)}{q_{\theta }^{\prime }(a_t|s_t)}$ 限制在区间 (1- $ϵ$, 1 + $ϵ$)。
那么当 R > 0 时，Surrogate Objective 等同于：

$$E_{\tau \sim q_{{\theta }^{\prime }}(\tau )}[min(\frac{p_{\theta }(a_t|s_t)}{q_{\theta }^{\prime }(a_t|s_t)}R(\tau ),(1+ϵ)R(\tau ))]$$

这就确保会增大 $p_{\theta }(a_t|s_t)$ 但最大不会让 $\frac{p_{\theta }(a_t|s_t)}{q_{\theta }^{\prime }(a_t|s_t)}$ 大于 1 + $ϵ$
当 R < 0，Surrogate Objective 等同于：

$$E_{\tau \sim q_{{\theta }^{\prime }}(\tau )}[min(\frac{p_{\theta }(a_t|s_t)}{q_{\theta }^{\prime }(a_t|s_t)}R(\tau ),(1-ϵ)R(\tau ))]$$

这就确保会减小 $p_{\theta }(a_t|s_t)$ 但最小不会让 $\frac{p_{\theta }(a_t|s_t)}{q_{\theta }^{\prime }(a_t|s_t)}$ 小于 1 - $ϵ$
从而满足了让 p 和 q 的值不要差距太大的约束条件。
再把 R 替换成文一里提到的 Credit Assignment 的形式，我们对 REINFORCE 的算法的优化暂时到这里。

缺点

总结一下，我们用 Clipped Surrogate Objective 和 Credit Assignment 让 REINFORCE 可以做 off-policy，并且让 R 的表示更合理，但是我们再次看一下 R 现在的表示方法，虽然更合理了，但是还是有可以优化的地方。

$$R_t(\tau )=\sum _{t=t(a)}^T{\gamma }^{t-t(a)}{r}_t,\gamma \in [0,1]$$

虽然对每个 a 都有相应的 R，但是回到最开始 a 是怎么来的，每一步的 a 是采样来的，所以这种 Monte-Carlo 式的评估 R 的方式会引入大的方差。

改进

下篇文章会给出方差大的解决办法。

参考

1. Proximal Policy Optimization Algorithms
2. 深度解读：Policy Gradient，PPO及PPG
3. 李宏毅深度强化学习(国语)课程(2018)