强化学习|从Policy Gradient到Proximal Policy Optimization

1. 算法的演进(PG to PPO)

2. PG

不同于参数化动作价值函数，PG选择参数化策略$\pi (a|s,\theta )$。

策略参数的学习方法都基于某种性能度量$J(\theta )$的梯度，这些梯度是标量$J(\theta )$对策略参数的梯度。这些方法的目标是最大化性能指标，所以他们的更新近似于$J$的梯度上升
$${\theta }_{t+1}={\theta }_t+\nabla J(\mathbf{\theta })$$
在分幕式任务中，性能指标$J(\theta )$被定义为：在当前参数化策略下初始状态的价值函数；在持续性任务中，性能指标被定义为：平均收益。[我们的性能度量必须要符合这两个定义吗？像PPO的$J(\theta )$已经变得面目全非了，那它本质上是不是还归类为上面两类？那在实际问题中的性能指标呢？]

2.1 蒙特卡洛策略梯度

sutton书上的推导比较难懂，但更加严谨，李宏毅公开课上的推导容易理解。

主要思想:
采用蒙特卡洛法进行采样，用样本的均值来近似期望。

推导过程:
$$\begin{array}{rl}\nabla J(\mathbf{\theta })& \propto \sum _s\mu (s)\sum _a{q}_{\pi }(s,a)\nabla \pi (a\mid s,\mathbf{\theta })(策略梯度定理)\\ & ={\mathbb{E}}_{\pi }\left[\sum _a{q}_{\pi }\left(S_t,a\right)\nabla \pi \left(a\mid S_t,\mathbf{\theta }\right)\right]\\ & 把对随机变量所有可能的求和运算都化为对\pi 的期望，再对期望采样\\ & ={\mathbb{E}}_{\pi }\left[\sum _a\pi \left(a\mid S_t,\mathbf{\theta }\right)q_{\pi }\left(S_t,a\right)\frac{\nabla \pi \left(a\mid S_t,\mathbf{\theta }\right)}{\pi \left(a\mid S_t,\mathbf{\theta }\right)}\right]\\ & ={\mathbb{E}}_{\pi }\left[q_{\pi }\left(S_t,A_t\right)\frac{\nabla \pi \left(A_t\mid S_t,\mathbf{\theta }\right)}{\pi \left(A_t\mid S_t,\mathbf{\theta }\right)}\right]（用采样A_t\backsim \pi 替换a）\\ & ={\mathbb{E}}_{\pi }\left[G_t\frac{\nabla \pi \left(A_t\mid S_t,\mathbf{\theta }\right)}{\pi \left(A_t\mid S_t,\mathbf{\theta }\right)}\right]\\ & \approx \frac{1}{N}\sum _{n=1}^N\cdot \sum _{t=1}^{T_n}{G}_t^n\cdot \nabla \cdot \log \pi \left(A_t^n\mid S_t^n,\mathbf{\theta }\right)（？？？）\end{array}$$
$G_t$是通常的回报。括号中的量可以通过每步的采样计算得到，它的期望等于真实的梯度。使用这个梯度实现的随机梯度上升算法，就可以得到下式
$$\begin{array}{r}{\theta }_{t+1}={\theta }_t+\alpha G_t\frac{\nabla \pi \left(A_t\mid S_t,\mathbf{\theta }\right)}{\pi \left(A_t\mid S_t,\mathbf{\theta }\right)}\end{array}$$

2.2 带基线的蒙特卡洛策略梯度

引入基线$b(S_t)$
$$\begin{array}{rl}\nabla J(\mathbf{\theta })& ={\mathbb{E}}_{\pi }\left[(G_t-b(S_t))\frac{\nabla \pi \left(A_t\mid S_t,\mathbf{\theta }\right)}{\pi \left(A_t\mid S_t,\mathbf{\theta }\right)}\right]\\ & ={\mathbb{E}}_{{\pi }_{\theta }}\left[{\hat{A}}_t\cdot \nabla \log \pi \left(A_t\mid S_t,\mathbf{\theta }\right)\right]\end{array}$$
其中，${\hat{A}}_t$叫做优势函数，反映了在状态$S_t$下采取动作$A_t$相比于其他动作有多好。
加入这个基线不会使更新值的期望发生变化，但会对方差会有很大的影响，对马尔科夫决策过程，这个基线应该根据状态的变化而变化，状态价值函数$\hat{v}(S_t,\mathbf{w})$就是一个比较自然能想到的基线。[如何理解这里的方差？跟off-policy版本的中的方差有何异同？]

直观理解:

对于不带基线版本的REINFORCE，如果采样均匀那没啥问题，但是一旦采样不均匀（如上图的下半部分所示）就会导致没有被采样到的动作被选择的概率下降，尽管这个动作是好的。通过引入基线，那变化大的就是正值，变化小的就是负值，这样一综合没有被采样的动作基本保持不变。

3. off-policy PG

概念: on-policy and off-policy
on-policy: 用于生成采样数据序列的策略和用于实际决策的待评估和改进的策略是相同的

off-policy: 用于评估或者改进的策略与生成采样数据的策略是不同的，即生成的数据“离开”了待优化的策略所决定的决策序列轨迹。

问题引入:
之前的on-policy PG，每一次更新$\theta$后，都必须从新的${\pi }_{\theta }$重新采样，这就导致大部分时间花在数据采样上，学习效率低下。

解决办法:
通过重要度采样（important sampling）来将on-policy PG转变为 off-policy PG，使之前采样的数据能够被重复使用。

方法过程:

重要度采样原理
重要度采样是一种在给定来自其他分布的样本的条件下，估计某种分布的期望值的通用方法。

根据采样定理我们有 $E_{x\sim p}[f(x)]\approx \frac{1}{N}{\sum }_{i=1}^{N}f\left(x^i\right)$ ，假如原函数$f(x)$也许本身就是定义在一个分布之上的，我们定义这个分布为$p(x)$，我们无法直接从 $p(x)$上进行采样，所以另辟蹊径重新找到一个更加简明的分布$q(x)$，从它进行取样，希望间接地求出$f(x)$在分布$p(x)$下的期望。
推导如下$$E_{x\sim p}[f(x)]=\int f(x)p(x)dx=\int f(x)\frac{p(x)}{q(x)}q(x)dx=E_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]$$这样我们就能从分布q中采样，然后用$\frac{p(x)}{q(x)}$来修正，间接求出$f(x)$在分布$p(x)$下的期望。

重要性采样有一些问题，我们将在PPO那部分进行介绍。

借助重要度采样将PG转变为off-policy PG，过程如下：
$$\begin{array}{rl}\nabla J(\theta )& =E_{{\pi }_{\theta }}\left[{\hat{A}}_t^{\theta }\cdot \nabla \log \pi \left(A_t\mid S_t,\theta \right)\right]\\ & =E_{{\pi }_{{\theta }^{\prime }}}\left[\frac{\pi \left(A_t\mid S_t,\theta \right)}{\pi \left(A_t\mid S_t,{\theta }^{\prime }\right)}\cdot {\hat{A}}_t^{{\theta }^{\prime }}\cdot \nabla \log \pi \left(A_t\mid S_t,\theta \right)\right]\end{array}$$
借助变换 $\nabla f(x)=f(x)\cdot \nabla \log f(x)$，可得目标函数：
$$\begin{array}{rl}{J}^{{\theta }^{\prime }}(\theta )& =E_{{\pi }_{{\theta }^{\prime }}}\left[\frac{\pi \left[A_t\mid S_t,\theta \right]}{\pi \left[A_t\mid S_t,{\theta }^{\prime }\right]}\cdot {\hat{A}}_t^{{\theta }^{\prime }}\right]\end{array}$$

4. PPO

分类:
Model-free、Off-policy、Continuous State Space、Continuous Action Space、Support High-dim Input

问题引入:
前面介绍important sampling 时，off-policy PG引入important sampling会带来一些问题，如果$p(x)$与$q(x)$相差太大会导致方差过大。

从前面的推导我们有：$E_{x\sim p}[f(x)]=E_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]$，它们的方差${\mathrm{Var}}_{x\sim p}[f(x)]$ 与 ${\mathrm{Var}}_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]$关系如何呢？推导如下：

${\mathrm{Var}}_{x\sim p}[f(x)]=E_{x\sim p}\left[f(x{)}^2\right]-{\left(E_{x\sim p}[f(x)]\right)}^2$

$\begin{array}{rl}{\mathrm{Var}}_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]& =E_{x\sim q}\left[{\left(f(x)\frac{p(x)}{q(x)}\right)}^2\right]-{\left(E_{x\sim q}\left[f(x)\frac{p(x)}{q(x)}\right]\right)}^2\\ & =E_{x\sim p}\left[f(x{)}^2\frac{p(x)}{q(x)}\right)-{\left(E_{x\sim p}[f(x)]\right)}^2\end{array}$

上面两个方差的差距主要在第二式多了一个$\frac{p(x)}{q(x)}$，若$p(x)$和$q(x)$的差距过大，会导致两个方差相差太大，训练的结果就会相差很大。

解决思路:
从上面的分析可以看出，要想规避这个问题，不让它们的方差相差太多，即分布$p(x)$和$q(x)$尽可能相近。所以我们引入约束，来实现这一目标。

方法过程:

K-L散度
Kullback-Leibler Divergence，即K-L散度，是一种量化两种概率分布P和Q之间差异的方式，又叫相对熵。在概率学和统计学上，我们经常会使用一种更简单的、近似的分布来替代观察数据或太复杂的分布。K-L散度能帮助我们度量使用一个分布来近似另一个分布时所损失的信息量。
KL 散度介绍
KL散度（英文）

• TRPO

$$\begin{array}{rl}{J}_{TRPO}^{{\theta }^{\prime }}(\theta )& =E_{{\pi }_{{\theta }^{\prime }}}\left[\frac{\pi \left[A_t\mid S_t,\theta \right]}{\pi \left[A_t\mid S_t,{\theta }^{\prime }\right]}\cdot {\hat{A}}_t^{{\theta }^{\prime }}\right]KL\left(\theta ,{\theta }^{\prime }\right)<\delta \end{array}$$

该方法将KL Divergence 作为约束放在更新外面

• PPO(KL penalty)

$$\begin{array}{rl}{J}_{PPO}^{{\theta }^k}(\theta )& =J^{{\theta }^k}(\theta )-\beta KL\left(\theta ,{\theta }^k\right)\\ J^{{\theta }^k}(\theta )& =E_{{\pi }_{{\theta }^k}}\left[\frac{\pi \left[A_t\mid S_t,\theta \right]}{\pi \left[A_t\mid S_t,{\theta }^k\right]}\cdot {\hat{A}}_t^{{\theta }^k}\right]\end{array}$$
该方法将KL放入更新公式中，作为惩罚项。超参数$\beta$调整按照下面的方法：
If $KL\left(\theta ,{\theta }^k\right)>K{L}_{\max },$ increase $\beta$
If $KL\left(\theta ,{\theta }^k\right)<K{L}_{\min },$ decrease $\beta$

李宏毅说：$KL\left(\theta ,{\theta }^k\right)$不是参数上的差距，是action上的差距[如何理解这句话？]

• PPO(Clipping)（推荐方法）
  $$\begin{array}{rl}{J}_{PPO2}^{{\theta }^k}(\theta )\approx \sum _{\left(S_t,A_t\right)}\min (& \frac{{\pi }_{\theta }\left(A_t\mid S_t\right)}{{\pi }_{{\theta }^k}\left(A_t\mid S_t\right)}{\hat{A}}^{{\theta }^k},\\ & \mathrm{clip}\left(\frac{{\pi }_{\theta }\left(A_t\mid S_t\right)}{{\pi }_{{\theta }^k}\left(A_t\mid S_t\right)},1-\epsilon ,1+\epsilon \right){\hat{A}}^{{\theta }^k})\end{array}$$
  通过该方法可以将$\frac{{\pi }_{\theta }\left(A_t\mid S_t\right)}{{\pi }_{{\theta }^k}\left(A_t\mid S_t\right)}$的变化限制在$[1-\epsilon ,1+\epsilon ]$之间，不让它们之间相差太大，并且可以自动调整。见下图
  

PPO的问题或改进点：
???

5. 算法实现

PG:
PPO:
我的github

调参技巧：
强化学习的调参技巧与编程技巧
深度强化学习落地方法论（7）—— 训练篇***
深度强化学习落地方法论（6）—— 回报函数篇
深度强化学习调参技巧：以D3QN、TD3、PPO、SAC算法为例

算法选择：
如何选择深度强化学习算法？MuZero/SAC/PPO/TD3/DDPG/DQN/等

6.参考

原创博文，未经许可严禁转载！