多智能体强化学习算法MA-POCA

论文原文：On the Use and Misuse of Absorbing States in Multi-agent Reinforcement Learning

预备知识参考：

强化学习纲要（周博磊课程）

强化学习实践教学

多智能体强化学习入门

MA-POCA是Unity官方2021年11月推出的多智能体强化学习算法，其首次应用在Unity强化学习插件ML-Agents中，取得了让人满意的效果，ML-Agents让我们能够非常便捷地创建自己的强化学习训练环境，我写过对应的文章：Unity强化学习之ML-Agents的使用。

MA-POCA是Unity强化学习插件ML-Agents所使用的官方的多智能体算法，它的实现参考于MADDPG
在介绍MA-POCA之前，需要了解多智能体深度强化学习的代表算法MADDPG。它是经典的的中心化训练和非中心化执行的算法，即在训练的时候，Critic不仅需要知道该智能体的动作信息，还需要知道其他智能体的动作信息，才能做出评判。而在智能体执行的时候，不需要Critic网络参与，因此只需要Actor利用观测到具局部信息采取行动即可。以两个智能体为例：
r ( s , a 1 ) = E a 2 ∈ A , s ′ ∈ S [ r 1 ( s ′ ) p ( s ′ ∣ s , a 1 , a 2 ) π 2 ( a 2 ∣ s ) ] p 1 ( s ′ ∣ s , a 1 ) = ∑ a 2 ∈ A p ( s ′