Policy-based RL小结(Policy Gradient ； Natural policy gradient ；TRPO；ACKTR；PPO )

Policy-based RL

前言

此笔记根据周老师的强化学习课程总结而成

周老师的《强化学习纲要》
https://github.com/zhoubolei/introRL

${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }{\mathbb{E}}_{{\pi }_{\theta }}[R]$

1. 预备知识

1.1 策略类型

确定性策略和随机策略

1.2 策略优化的目标函数

1.2.1 可结束的环境的目标函数

用开始的第一个状态的价值来衡量策略的质量

$J_1(\theta )=V^{{\pi }_{\theta }}\left(s_1\right)={\mathbb{E}}_{{\pi }_{\theta }}\left[v_1\right]$

1.2.3 连续动作环境的目标函数

取平均价值函数V

$J_{avV}(\theta )={\sum }_s{d}^{{\pi }_{\theta }}(s)V^{{\pi }_{\theta }}(s)$

取每一步的平均回报R

$J_{avR}(\theta )={\sum }_s{d}^{{\pi }_{\theta }}(s){\sum }_a{\pi }_{\theta }(s,a)R(s,a)$

where $d^{\pi }\theta$ is stationary distribution of Markov chain for ${\pi }_{\theta }$

1.2.4 实际的目标函数的定义

利用采样的思想

$\begin{array}{rl}J(\theta )& ={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[\sum _{t}R\left(s_t^{\tau },a_t^{\tau }\right)\right]\\ & \approx \frac{1}{m}\sum _m\sum _{t}R\left(s_t^m,a_t^m\right)\end{array}$

策略优化的目标：

${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}{\mathbb{E}}_{\tau \sim {\pi }_{\theta }}\left[{\sum }_{t}R\left(s_t^{\tau },a_t^{\tau }\right)\right]$

1.3 策略的核函数

假设策略可微则

$\begin{array}{rl}{\nabla }_{\theta }{\pi }_{\theta }(s,a)& ={\pi }_{\theta }(s,a)\frac{{\nabla }_{\theta }{\pi }_{\theta }(s,a)}{{\pi }_{\theta }(s,a)}\\ & ={\pi }_{\theta }(s,a){\nabla }_{\theta }\log {\pi }_{\theta }(s,a)\end{array}$

其中策略的核函数：${\nabla }_{\theta }\log {\pi }_{\theta }(s,a)$

1.4 策略的类型

1.4.1 Softmax Policy

${\pi }_{\theta }(s,a)=\frac{{\exp }^{\varphi (s,a{)}^T\theta }}{{\sum }_{a^{\prime }}{\exp }^{\varphi {\left(s,a^{\prime }\right)}^T\theta }}$

核函数：${\nabla }_{\theta }\log {\pi }_{\theta }(s,a)=\varphi (s,a)-{\mathbb{E}}_{{\pi }_{\theta }}[\varphi (s,.)]$

其中$\varphi (s,a)$是状态-动作对的特征，动作的权重用特征的线性组合表示$\varphi (s,a{)}^T\theta$

1.4.2 高斯分布

常用于连续动作的环境

${\pi }_{\theta }(s,a)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{1}{2}{\left(\frac{a-\varphi (s{)}^T\theta }{\sigma }\right)}^2}$

核函数：${\nabla }_{\theta }\log {\pi }_{\theta }(s,a)=\frac{(a-\mu (s))\varphi (s)}{{\sigma }^2}$

其中$\varphi (s)$是状态的特征, 均值是状态特征的组合$\mu (s)=\varphi (s{)}^T\theta$，方差可以是固定的也可以是参数化的

2. 正题：策略梯度RL

2.1 问题表征

利用1.2.4中的思想，即用采样的方法来表征目标函数$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\sum }_{t=0}^{T-1}R\left(s_t,a_t\right)\right]={\sum }_{\tau }P(\tau ;\theta )R(\tau )$

$\tau =\left(s_0,a_0,r_1,\dots s_{T-1},a_{T-1},r_T,s_T\right)\sim \left({\pi }_{\theta },P\left(s_{t+1}\mid s_t,a_t\right)\right)$用${\pi }_{\theta }$采样一个episode的轨迹。

$P(\tau ;\theta )=\mu \left(s_0\right){\prod }_{t=0}^{T-1}{\pi }_{\theta }\left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)$一条采样轨迹的概率

$R(\tau )={\sum }_{t=0}^{T-1}R\left(s_t,a_t\right)$一条轨迹上所有奖励的和

则我们的目标就是求

${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}J(\theta )=\underset{\theta }{\mathrm{argmax}}{\sum }_{\tau }P(\tau ;\theta )R(\tau )$

2.2 MC梯度的方法

将梯度进行类似1.3中的处理

${\nabla }_{\theta }J(\theta )={\sum }_{\tau }P(\tau ;\theta )R(\tau ){\nabla }_{\theta }\log P(\tau ;\theta )={\mathbb{E}}_{{\pi }_{\theta }}(R(\tau ){\nabla }_{\theta }\log P(\tau ;\theta ))={\mathbb{E}}_{{\pi }_{\theta }}\left[\left({\sum }_{t=0}^{T-1}{r}_t\right)\left({\sum }_{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right)\right]$

则在实际中用采样的方法对其进行近似

${\nabla }_{\theta }J(\theta )\approx \frac{1}{m}{\sum }_{i=1}^{m}R\left({\tau }_i\right){\nabla }_{\theta }\log P\left({\tau }_i;\theta \right)$

对${\nabla }_{\theta }\log P(\tau ;\theta )$进行分解，${\nabla }_{\theta }\log P(\tau ;\theta )={\sum }_{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)$

则目标函数的梯度变成：

${\nabla }_{\theta }J(\theta )\approx \frac{1}{m}{\sum }_{i=1}^{m}R\left({\tau }_i\right){\sum }_{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }(a_t^i|s_t^i)$

由上式可以看到，目标函数的梯度的计算用不到环境模型$P\left(s_{t+1}\mid s_t,a_t\right)$

3. 改善策略梯度

基于采样的策略梯度是无偏有噪声的，下面就是为了消除噪声而进行的操作。

3.1 考虑时序因果关系

参考2.1 中的策略梯度函数,此策略梯度函数表示t时刻采样策略会影响t之前的回报r，其中的因果性就不合理，会引起较大的方差${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[\left({\sum }_{t=0}^{T-1}{r}_t\right)\left({\sum }_{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right)\right]$

现在为了去除因果性，考虑另一种表达方式

首先对于单个reward来说策略梯度为

${\nabla }_{\theta }{\mathbb{E}}_{{\pi }_{\theta }}\left[r_{t^{\prime }}\right]={\mathbb{E}}_{{\pi }_{\theta }}\left[r_{t^{\prime }}{\sum }_{t=0}^{t^{\prime }}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$

然后summing整个reward${\nabla }_{\theta }J(\theta )={\nabla }_{\theta }{\mathbb{E}}_{{\pi }_{\theta }}[R]={\nabla }_{\theta }{\mathbb{E}}_{{\pi }_{\theta }}[{\sum }_{t^{\prime }=0}^{T-1}{r}_{t^{\prime }}]={\mathbb{E}}_{\tau }\left[{\sum }_{t^{\prime }=0}^{T-1}{r}_{t^{\prime }}{\sum }_{t=0}^{t^{\prime }}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]={\mathbb{E}}_{\tau }\left[{\sum }_{t=0}^{T-1}{G}_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$

最后得到${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau }\left[{\sum }_{t=0}^{T-1}{G}_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$

根据最后得到的式子，采用MC采样的方法得到策略梯度的估计值

${\nabla }_{\theta }J(\theta )\approx \frac{1}{m}{\sum }_{i=1}^m{\sum }_{t=0}^{T-1}{G}_t^{(i)}\cdot {\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t^i\mid s_t^i\right)$

REINFORCE算法就是根据这一原理来进行设计的

3.2 采用Baseline

考虑3.1中得到的策略梯度函数，虽然去除了因果性，但是Gt也是采样出来的，它依然会有好，有坏，方差就会比较大。

${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau }\left[{\sum }_{t=0}^{T-1}{G}_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$

为了消除这个采样引起的方差，我们加入一个baseline，可以证明下面这个策略梯度和上面3.1中策略梯度是完全相同的，也是一个无偏估计，但是方差较小：

${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau }\left[{\sum }_{t=0}^{T-1}\left(G_t-b\left(s_t\right)\right)\cdot {\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$

其中advantage estimate=$\left(G_t-b\left(s_t\right)\right)$

其中baseline可以用回报的期望表示$b\left(s_t\right)=\mathbb{E}\left[r_t+r_{t+1}+\dots +r_{T-1}\right]$也可以用带参数的函数：$b_{\mathrm{w}}\left(s_t\right)$

Vanilla Policy Gradient Algorithm with Baseline

3.3 采用critic

考虑3.1中得到的策略梯度函数，虽然去除了因果性，但是Gt也是采样出来的，它依然会有好，有坏，方差就会比较大。这个方差的来源是因为Gt是Q(at|st)的无偏有噪声估计

$q_{\pi }(s,a)\doteq {\mathbb{E}}_{\pi }\left[G_t\mid S_t=s,A_t=a\right]={\mathbb{E}}_{\pi }\left[{\sum }_{k=0}^{\infty }{\gamma }^k{R}_{t+k+1}\mid S_t=s,A_t=a\right]$

可以看到对Gt取期望等于q，说明无偏差，但是毕竟是采样出来的所以noise比较大

${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{\tau }\left[{\sum }_{t=0}^{T-1}{G}_t\cdot {\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$

为了消除这个采样引起的方差，我们直接用一个参数化的Q来代替Gt，后续不断地对其进行优化改进：

${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\sum }_{t=0}^{T-1}{Q}_w\left(s_t,a_t\right)\cdot {\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$

其中$Q_{\mathbf{w}}(s,a)\approx Q^{{\pi }_{\theta }}(s,a)$，被称为critic

最后观察上面这个等式${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\sum }_{t=0}^{T-1}{Q}_w\left(s_t,a_t\right)\cdot {\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)\right]$

其中${\pi }_{\theta }\left(a_t\mid s_t\right)$是Actor，$Q_{\mathrm{w}}\left(s_t,a_t\right)$是Critic。这个算法也叫做Actor-Critic Policy Gradient

一个简单的QAC算法

使用一个线性逼近函数来近似cirtic：$Q_{\mathbf{w}}(s,a)=\psi (s,a{)}^T\mathbf{w}$

通过TD(0)的方式来更新w，用策略梯度的方法来更新$\theta$（在lecture4有讲）

采用神经网络的方式更新

3.4 采用Advantage function

对于3.3中的Q依然存在方差，接下来继续减小方差，因为V是Q的期望值，所以我们用Q-V来作为advantage function：

$A^{\pi, \gamma}(s, a)=Q^{\pi, \gamma}(s, a)-V^{\pi, \gamma}(s) $

$\begin{array}{rl}{V}^{\pi ,\gamma }(s)& ={\mathbb{E}}_{\pi }\left[r_1+\gamma r_2+\dots \mid s_1=s\right]\\ & ={\mathbb{E}}_{a\sim \pi }\left[Q^{\pi ,\gamma }(s,a)\right]\end{array}$

$Q^{\pi ,\gamma }(s,a)={\mathbb{E}}_{\pi }\left[r_1+\gamma r_2+\dots \mid s_1=s,a_1=a\right]$

从而策略梯度变成：

${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(s,a)A^{\pi ,\gamma }(s,a)\right]$

$\begin{array}{rl}{V}_{\mathbf{v}}(s)& \approx V^{\pi }(s)\\ Q_{\mathbf{w}}(s,a)& \approx Q^{\pi }(s,a)\end{array}$

V和Q参数的更新可以用TDlearning 或者 MC的方法

3.5 TD Actor-Critic

对于3.4中的策略梯度需要估计Q和V两个函数的参数，计算量比较大

${\nabla }_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(s,a)A^{\pi ,\gamma }(s,a)\right]$

$A^{\pi ,\gamma }(s,a)=Q^{\pi ,\gamma }(s,a)-V^{\pi ,\gamma }(s)$

现在通过一个变换，可以用只含有V
$\begin{array}{rl}{\mathbb{E}}_{{\pi }_{\theta }}\left[{\delta }^{{\pi }_{\theta }}\mid s,a\right]& ={\mathbb{E}}_{{\pi }_{\theta }}\left[r+\gamma V^{{\pi }_{\theta }}\left(s^{\prime }\right)\mid s,a\right]-V^{{\pi }_{\theta }}(s)\\ & =Q^{{\pi }_{\theta }}(s,a)-V^{{\pi }_{\theta }}(s)\\ & =A^{{\pi }_{\theta }}(s,a)\\ {\delta }^{{\pi }_{\theta }}=& r(s,a)+\gamma V^{{\pi }_{\theta }}\left(s^{\prime }\right)-V^{{\pi }_{\theta }}(s)\end{array}$
可以采用MC和TD的方式来对V进行估计

总结：策略梯度的各种形式如下

4. 策略梯度高级算法

Policy Gradient $\to$ Natural policy gradient $/\mathrm{T}\mathrm{R}\mathrm{P}\mathrm{O}\to \mathrm{A}\mathrm{C}\mathrm{K}\mathrm{T}\mathrm{R}\to \mathrm{P}\mathrm{P}\mathrm{O}$

策略梯度的问题

1.采样比较少，效率比较低

2.训练用的数据间的相关度较高，训练过程可能会变得越来越糟，训练过程不稳定（比如采样到比较坏的数据，得到一个比较坏的策略。。。）

解决第一个问题：使用off-policy的方法，Importance sampling（TRPO）

解决第二个问题：增加Trust region（TRPO）和 Natural policy gradient

Natural policy gradient(KL-divergence)

这个方法是解决训练问题不稳定的情况。

基本的策略梯度方法是一个这样的优化问题$\Delta {\theta }^{\ast }=\arg \max J(\theta +\Delta \theta )$，在基本的策略梯度中$\Delta {\theta }^{\ast }={\nabla }_{\theta }J(\theta )$。但是这样更新策略的参数有个问题，就是$\theta$参数的变化对于策略的影响是未知的，可能会把一个比较不错的old策略带跑偏，容易产生震荡，也就是问题2。

解决问题2的方法，用KL-divergence对odl policy和new policy之间的差别进行约束

$\Delta {\theta }^{\ast }=\arg \max J(\theta +\Delta \theta )$, s.t. $KL\left({\pi }_{\theta }\Vert {\pi }_{\theta +d}\right)=c$

对其进行Lagrangian形式的处理，得到新的优化问题：

$\begin{array}{rl}\Delta {\theta }^{\ast }& =\underset{\Delta \theta }{\mathrm{argmax}}J(\theta +\Delta \theta )-\lambda \left(KL\left({\pi }_{\theta }\Vert {\pi }_{\theta +\Delta \theta }\right)-c\right)\\ & \approx \underset{\Delta \theta }{\mathrm{argmax}}J(\theta )+{\nabla }_{\theta }J(\theta {)}^T\Delta \theta -\frac{1}{2}\lambda \Delta {\theta }^{T}F\Delta \theta +\lambda c\end{array}$

对上面的优化问题进行梯度求导得

natural policy gradient: $\Delta {\theta }^{\ast }=\frac{1}{\lambda }{F}^{-1}{\nabla }_{\theta }J(\theta )$

新的参数更新公式：${\theta }_{t+1}={\theta }_t+\alpha F^{-1}{\nabla }_{\theta }J(\theta )$

以前的参数更新公式：${\theta }_{t+1}={\theta }_t+\alpha {\nabla }_{\theta }J(\theta )$

对比这两个公式，这里新增加来一个F的逆，F是Fisher information matrix$F=E_{{\pi }_{\theta }(s,a)}\left[\nabla \log {\pi }_{\theta }(s,a)\nabla \log {\pi }_{\theta }(s,a{)}^T\right]$，F其实是策略的曲率，新的参数更新公式相较于以前的相当于把策略的曲率提除掉了。

importance sampling(IS)

为了改进第一个问题，我们采用得到的old policy对a进行采样，这样可以利用很多的样本。

$J(\theta )={\mathbb{E}}_{a\sim {\pi }_{\theta }}[r(s,a)]={\mathbb{E}}_{a\sim \hat{\pi }}\left[\frac{{\pi }_{\theta }(s,a)}{\hat{\pi }(s,a)}r(s,a)\right]$

从而优化问题变成

$\theta =\underset{\theta }{\mathrm{argmax}}{J}_{{\theta }_{\text{old }}}(\theta )=\underset{\theta }{\mathrm{argmax}}{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}{R}_t\right]$

TRPO=IS+KL-divergence

TRPO的优化问题

$J_{{\theta }_{\text{old }}}(\theta )={\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}{R}_t\right]$
subject to $KL\left({\pi }_{{\theta }_{\text{old }}}\left(.\mid s_t\right)\Vert {\pi }_{\theta }\left(.\mid s_t\right)\right)\le \delta$

对上面两项泰勒展开后，经过推导得

$\begin{array}{rl}{J}_{{\theta }_{old}}(\theta )& \approx g^T\left(\theta -{\theta }_{old}\right)\\ KL\left({\theta }_{old}\Vert \theta \right)& \approx \frac{1}{2}{\left(\theta -{\theta }_{old}\right)}^{F}T\left(\theta -{\theta }_{old}\right)\end{array}$

$g={\nabla }_{\theta }{J}_{{\theta }_{old}}(\theta )$ and $T={\nabla }_{\theta }^{2}KL\left({\theta }_{old}||\theta \right)$

然后优化形式就变成：

$\theta =\underset{\theta }{\mathrm{argmax}}{g}^T\left(\theta -{\theta }_{old}\right)$ s.t. $\frac{1}{2}{\left(\theta -{\theta }_{old}\right)}^{T}T\left(\theta -{\theta }_{old}\right)\le \delta$

对上面的优化形式进行二次优化求解：$\theta ={\theta }_{old}+\sqrt{\frac{2\delta }{g^T{H}^{-1}g}}{T}^{-1}g$

natural policy gradient: $\sqrt{\frac{2\delta }{g^T{T}^{-1}g}}{T}^{-1}g$

TRPO算法小结：

natural policy gradient:就是将KL-divergence考虑在内的梯度更新公式

ACKTR

用一个更简单的方法计算FIsher information matrix

PPO=simple TRPO

PPO是一种简化的TRPO实现形式，PPO的优化计算方式不用计算TRPO中的F二阶矩阵，比较容易实现计算也快很多，而且包括来TRPO中的IS和KL-divergence的特性。

对于TRPO中的loss function

maximize ${}_{\theta }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}{A}_t\right]$
subject to ${\mathbb{E}}_t\left[KL\left[{\pi }_{{\theta }_{\text{old }}}\left(.\mid s_t\right),{\pi }_{\theta }\left(.\mid s_t\right)\right]\right]\le \delta$

PPO不用解析的去求解，而是将其转化成拉格朗日的形式，也就是还是用一阶的SGD来对$\theta$进行更新：

maximize ${}_{\theta }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}{A}_t\right]-\beta {\mathbb{E}}_t\left[KL\left[{\pi }_{{\theta }_{\text{old }}}\left(.\mid s_t\right),{\pi }_{\theta }\left(.\mid s_t\right)\right]\right]$

PPO with Adaptive KL Penalty

动态的调整$\beta$

PPO with clipping

再看原来的TRPO中的优化形式

maximize ${}_{\theta }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}{A}_t\right]$
subject to ${\mathbb{E}}_t\left[KL\left[{\pi }_{{\theta }_{\text{old }}}\left(.\mid s_t\right),{\pi }_{\theta }\left(.\mid s_t\right)\right]\right]\le \delta$

clip之后，形式变成：

maximize ${}_{\theta }{\mathbb{E}}_t\left[\min \left(\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)}{A}_t,\mathrm{clip}\left(\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old }}}\left(a_t\mid s_t\right)},1-ϵ,1+ϵ\right)A_t\right)\right]$
subject to ${\mathbb{E}}_t\left[KL\left[{\pi }_{{\theta }_{\text{old }}}\left(.\mid s_t\right),{\pi }_{\theta }\left(.\mid s_t\right)\right]\right]\le \delta$

然后对上面的优化等式进行SGD求解