RL论文阅读3-PPO.2017

PPO.2017

Tittle

source

标签

• Model-free
• Policy-based
• On-policy
• Continuous State Space
• Continuous Action Space
• Support High-dim Input

总结

针对的问题

TRPO算法虽然取得较好成果，但是相对复杂，不兼容一些包含噪声或者参数共享的架构。
其实和TRPO解决的问题一样，是PG过程中步长的问题，是在TRPO的基础上做了些修改。

解决思路

文章提出了两种方法：

• 方法1 对于Loss函数，如果新旧策略相差很大，采取截断的方法。防止过分大的更新。
• 方法2 动态修改KL乘法系数。效果不如方法1

优点

保留了TRPO的一些优点同时，更加简单、通用并且有更好的采样复杂性

原理和idea

一般来说，PG算法的损失函数
$$L^{PG}(\theta )=\widehat{{\mathbb{E}}_t}[\log {\pi }_{\theta }(a_t|s_t){\hat{A}}_t]$$

A 为Advantage function

在TROP算法中，优化目标是在给定限制下最大化目标函数
$$\begin{gathered} \underset{\theta }{\max }\widehat{{\mathbb{E}}_t}[\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}{\hat{A}}_t] \\ st.\widehat{{\mathbb{E}}_t}[KL[{\pi }_{{\theta }_{old}}(\cdot |s_t),{\pi }_{\theta }(\cdot |s_t)]]\le \delta \end{gathered}$$

TROP 实际上是把限制项放在原始作为批判项
$$\underset{\theta }{\max }\widehat{{\mathbb{E}}_t}[\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}{\hat{A}}_t]+\beta (KL[{\pi }_{{\theta }_{old}}(\cdot |s_t),{\pi }_{\theta }(\cdot |s_t)])$$
由于$\beta$很难选择，所以就使用了限制项。

令 $r_t(\theta )=\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}$

借助TROP的思想， 那么
$$L^{CPI}(\theta )=\widehat{{\mathbb{E}}_t}[\frac{{\pi }_{\theta }(a_t|s_t)}{{\pi }_{{\theta }_{old}}(a_t|s_t)}{\hat{A}}_t]=\widehat{{\mathbb{E}}_t}[r_t(\theta ){\hat{A}}_t]$$

CPI : conservative policy iteration

如果没有TROP里的限制，最大化$L^{CPI}$会导致策略更新过大，PPO的主要解决办法是直接clip，截断处,理
$$L^{CLIP}(\theta )=\widehat{{\mathbb{E}}_t}[\min (r_t(\theta ){\hat{A}}_t,\mathrm{c}\mathrm{l}\mathrm{i}\mathrm{p}({\mathrm{r}}_{\mathrm{t}}(\theta ),1-ϵ,1+ϵ){\hat{\mathrm{A}}}_{\mathrm{t}})]$$
这个的意思就是

• ${\hat{A}}_t>0$ : 整体为正，最大不能超过$(1+ϵ){\hat{A}}_t$，最小值取决于$r_t(\theta ){\hat{A}}_t$
• ${\hat{A}}_t<0$ ：整体为负，最大不能超过 $(1+ϵ){\hat{A}}_t$,最小值取决于$r_t(\theta ){\hat{A}}_t$

这篇论文还提出使用$\beta$批判项，但是实验效果差于使用clip