提高随机策略梯度方法的稳定性

1 PPO方法：近端策略优化

论文：Proximal Policy Optimization Algorithms
核心改进：

2 TRPO

论文：Trust Region Policy Optimization
PPO也是一个TRPO方法，只不过它使用对策略比率简单裁剪来限制策略的更新。

3 SAC

论文：Soft Actor-Critic:Off-Policy Maximum Entropy Deep Reinforcement Learning
核心思想：熵正则化，在每个时间戳上添加了与该时间戳上的策略熵成比例的奖励。