深度学习18-C置信域：PPO、TRPO、ACKTR及SA

### C置信域：PPO、TRPO、ACKTR及SA

▪  近端策略优化（PPO）。
▪  置信域策略优化（TRPO）。
▪  使用了Kronecker-factored trust region（ACKTR）的A2C。

 TRPO是由伯克利研究人员于2015年在John Schulman等人的论文“Trust Region Policy Optimization”(arXiv: 1502.05477)中提出的。该论文是为了提高随机策略梯度优化的稳定性和一致性，并且在各种控制任务上均显示出良好的效果。
不过，论文和方法具有相当复杂的数学知识背景，所以理解该方法的细节比较困难。实现也很复杂，它使用了共轭梯度方法来有效解决限制优化问题

我们将比较的第三种方法ACKTR使用不同的方法来解决SGD的稳定性问题。Wu Yuhuai等人在2017年发表的论文“Scalable Trust- Region Method for Deep Reinforcement Learning Using Kronecker-Factored Approximation”（arXiv：1708.05144）中，作者将二阶优化方法和置信域方法结合在一起。
二阶方法的思想是通过采用优化函数的二阶导数（即曲率）来改进传统SGD，以提高优化过程的收敛性。让事情变得更复杂的是，二阶导数通常需要你自己构建并反转Hessian矩阵，该矩阵可能会过大，因此实际方法通常会与二阶方法比较近似，但不完全一样。这个领域的研究目前非常活跃，因为开发健壮、可扩展的优化方法对于整个机器学习领域非常重要。
二阶方法中有一个Kronecker-Factored Approximate Curvature (K-FAC)方法，该方法由James Martens和Rog