Proximal Policy Optimization近端策略优化算法
PPO(Proximal Policy Optimization)是PG(Policy Gradient)的进阶版。
因此,在学习PPO之前,先复习一下PG的内容。
Policy Gradient
On-Policy和Off-Policy
为什么要Off-Policy呢?如果我们可以让 π θ ′ π_{θ'} πθ′去收集数据,让 π θ π_{θ} πθ去做训练,那我们就可以把 π θ ′ π_{θ'} πθ′收集到的数据使用很多次,极大地提升了效率。
我们这里做一个数学推导。现有一个函数 f ( x ) f(x) f(x)遵从 p ( x ) p(x) p(x)的分布。、但现在我们为了把它变成off-policy,就不能直接从 p ( x ) p(x) p(x)中去直接采样。因此我们可以找一个分布 q ( x ) q(x) q(x)将其变形一下。
但这存在一个问题:尽管前后两项期望是一样的,但他们的方差是不一样的,存在一个 p (