强化学习6——policy gradient的变种State of the Art

policy-base SOTA

学习周博雷老师课程总结

Natural Policy Gradient

    为了改善PG算法的不稳定的缺点（如果更新到一个bad policy，就会采集到的一个坏的数据集，进而恶性循环。）
 
    这样我们在两个策略之间限制一个距离(KL-divergence)，保证优化不会跑的太偏，优化的方法就变为下面这样一个等式，就是说我们在上一个策略周围找一个使得目标函数值最大的方向进行前进，下面就是Natural Policy Gradient的实现方式：
$d^{\ast }=\arg \max J(\theta +d),$s.t.$KL\left({\pi }_{\theta }\Vert {\pi }_{\theta +d}\right)=c$

TRPO

    TRPO=Natural Policy Gradient + importance sampling
 
    根据sampling定理：
${\mathbb{E}}_{x\sim p}[f(x)]=\int p(x)f(x)dx=\int q(x)\frac{p(x)}{q(x)}f(x)dx={\mathbb{E}}_{x\sim q}\left[\frac{p(x)}{q(x)}f(x)\right]$
可以把目标函数写成：
$J(\theta )={\mathbb{E}}_{a\sim {\pi }_{\theta }}[r(s,a)]={\mathbb{E}}_{a\sim \hat{\pi }}\left[\frac{{\pi }_{\theta }(s,a)}{\hat{\pi }(s,a)}r(s,a)\right]$
这样我们就能用off-policy来进行价值函数的更新，即一个behavior policy，一个training policy，下面就是TRPO的优化公式：
$\begin{array}{rl}{J}_{{\theta }_{\text{old}}}(\theta )& ={\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old}}}\left(a_t\mid s_t\right)}{R}_t\right]\\ \text{ subject to }& KL\left({\pi }_{{\theta }_{\text{old}}}\left(.\mid s_t\right)\Vert {\pi }_{\theta }\left(.\mid s_t\right)\right)\le \delta \end{array}$

KFAC

提升TRPO的计算效率，

PPO

TRPO的简化版本
TRPO：
$$\begin{array}{l}{\mathrm{maximize}}_{\theta }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old}}}\left(a_t\mid s_t\right)}{A}_t\right]\\ \text{ subject to }{\mathbb{E}}_t\left[KL\left[{\pi }_{{\theta }_{\text{old}}}\left(.\mid s_t\right),{\pi }_{\theta }\left(.\mid s_t\right)\right]\right]\le \delta \end{array}$$
PPO的优化简化：
$${\mathrm{maximize}}_{\theta }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{old}}\left(a_t\mid s_t\right)}{A}_t\right]-\beta {\mathbb{E}}_t\left[KL\left[{\pi }_{{\theta }_{\text{old}}}\left(.\mid s_t\right),{\pi }_{\theta }\left(.\mid s_t\right)\right]\right]$$
简化后的PPO用一阶优化过程SGD，而TRPO用了二阶的信息，所以二阶的较慢。

带clipping的PPO

$r_t(\theta )=\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old}}}\left(a_t\mid s_t\right)}$
就是将价值函数的取值进行一个限制，则带有clipping的PPO的优化为：
$$L_t(\theta )=\min \left(r_t(\theta ){\hat{A}}_t,\mathrm{clip}\left(r_t(\theta ),1-ϵ,1+ϵ\right){\hat{A}}_t\right)$$
这里用clipping代替了KL-divergence这一项。