深度强化学习：（五）Actor Critic

一、Stochastic Actor-Critic

前言

1. some glaring issues with vanilla policy gradients(REINFORCE): noisy gradients and high variance.These issues contribute to the instability and slow convergence.

2. 蒙特卡洛这种传统强化学习方法等到情景episode结束才更新参数, 时序差分(TD)学习每个时间步都进行参数更新.

3. Improving policy gradients: Reducing variance with a baseline

       

1.Actor-Critic( Q-AC, use Q value )

   1）deriving Actor-Critic

  2）Actor-Critic algorithms

2.Advantage Actor-Critic( A2C, use V value )

  1）deriving Advantage  Actor-Critic

3.TD Actor-Critic( A2C, use V value, 用TD)

参考:https://zhuanlan.zhihu.com/p/78684058

        https://www.cnblogs.com/pinard/p/10272023.html

 TD误差是优势函数的无偏估计, 在实际的使用过程中，使用的是近似的TD误差

  1）deriving TD Actor-Critic

  2）TD A2C algorithms

4.Asynchronous Advantage Actor-Critic( A3C, use V value and Asynchronous )

对于一些采用experience replay的算法, 它们能很好的解决一些复杂的强化学习问题, 但是 experience replay 有很多缺点, 比如它需要更多内存和计算资源, 它们依赖高配置的GPU硬件和大量地分布结构, 并且它们是 off-policy learning。

在多个环境中异步的执行多个agent, 这种方法不依赖高配置的GPU硬件, 只需要多核的CPU, 它不仅能降低数据间的关联性, 而且能进行 on-policy learning 以便结合其他一些算法, 当这种方法运用在A2C算法上时, 能显著提高训练和学习的效率, 称为A3C算法.

二、Deterministic Actor-Critic（基于DPG）

参考：https://zhuanlan.zhihu.com/p/36015993

1.On-Policy Deterministic Actor-Critic

2.Off-Policy Deterministic Actor-Critic

3.Compatible Function Approximation