强化学习之AC、A2C和A3C

阅读本文可参考我以前的文章《强化学习实践教学》https://tianjuewudi.gitee.io/2021/07/16/qiang-hua-xue-xi-shi-jian-jiao-xue/#toc-heading-29，其中的连续动作空间上求解RL章节是本文的基础，其中的DDPG和Actor-Critic除了Target网络外其余都一致。

首先，A2C的全称是Advantage Actor Critic，而A3C是Asynchronous Advantage Actor Critic，A2C源自A3C。

Actor Critic

首先解释一下Actor Critic的概念，Q-learning是一种价值迭代法，而policy gradient是一种策略迭代法，Actor Critic同时使用了这两种方法。

Actor直接负责输出每个Action的概率，有多少个Action就有多少个输出。Critic输出的是动作价值Q。这是两个神经网络。在Policy Gradient中，一个episode的累计Reward就像是一个Critic，决定了Actor的学习方向，使得Actor倾向于学习Critic累计Reward更高的逻辑。因此策略梯度可写作：
$$g=E[\sum _{t=0}^{\infty }{\psi }_t{\nabla }_{\theta }log{\pi }_{\theta }(a_t|s_t)]$$
其中这里的π就是actor，ψ就是critic，这是一个广义的框架。

critic有多种形式：

1. 一个轨迹中的Reward相加。
2. 一个轨迹中后面某部分的Reward相加。
3. 相加后的Reward减去一个baseline。
4. 采