李宏毅机器学习（29）

Proximal Policy Optimization近端策略优化算法

PPO（Proximal Policy Optimization）是PG（Policy Gradient）的进阶版。
因此，在学习PPO之前，先复习一下PG的内容。

Policy Gradient

往期复习

On-Policy和Off-Policy

为什么要Off-Policy呢？如果我们可以让${\pi }_{{\theta }^{\prime }}$去收集数据，让${\pi }_{\theta }$去做训练，那我们就可以把${\pi }_{{\theta }^{\prime }}$收集到的数据使用很多次，极大地提升了效率。

我们这里做一个数学推导。现有一个函数$f(x)$遵从$p(x)$的分布。、但现在我们为了把它变成off-policy，就不能直接从$p(x)$中去直接采样。因此我们可以找一个分布$q(x)$将其变形一下。

但这存在一个问题：尽管前后两项期望是一样的，但他们的方差是不一样的，存在一个 p (