MAPPO:The Surprising Effectiveness of MAPPO in Cooperative, Multi-Agent Games

论文代码

1. 论文链接：https://arxiv.org/abs/2103.01955
2. 代码地址：https://github.com/marlbenchmark/on-policy
3. 代码讲解：

1.研究动机是什么

  早期的研究表明，在连续控制任务中，on-policy算法TRPO优于off-policy算法DDPG。然而，在最近的off-policy方法SAC和Rainbow中认为，即使是最新的PG算法PPO，采样效率也明显低于off-policy方法。

  在许多单智体领域（MuJoCo，Atari和机器人系统），目前off-policy方法在样本复杂度上是SOTA的。

  在多智能体领域也有类似的结论：多智体PG方法COMA在MPE和SMAC上的表现均明显优于MADDPG和QMix。

  尽管IPPO可以在一些特定的hard SMAC地图上表现出高成功率，但原因尚不清楚，而且IPPO的整体表现仍然比QMix差得多。

  作者重新检验了这些关于PPO的结论，并表明MAPPO能够在3个主流的MARL合作试验台上实现SOTA性能。

  单智体技巧：input normalization, value clipping, orthogonal initialization, and gradient clipping ，regularization（文中用normalization layer），离散任务使用soft trust-region penalty and discretizing the action space避免连续控制的局部最优问题，以上多智体领域同样适用，文中作者都用了。

2.主要解决了什么问题

3.所提方法是什么

  POMDP定义为$⟨\mathcal{S},\mathcal{A},O,R,P,n,\gamma ⟩$，$\mathcal{S}$是状态空间，$\mathcal{A}$是智能体共享动作空间，$o_i=O(s;i)$是每个智能体局部观测空间，$P(s^{\prime }$