e325: attention怎么解决_Multi-Actor-Attention-Critic (MAAC)

第一次写知乎文章，以前的论文整理都是自己收起来的，但这篇论文写得真的太好了，发到知乎上一方面是让自己更认真地看paper，理清楚脉络，另外也是希望如果有理解错误的地方dalao们可以指正。提前谢过。

这篇文章解决的问题和18年PKU那篇 NIPS（Learning Attentional Communication for Multi-Agent Cooperation）一样，但两者的解决思路截然不同。

PKU的思路是针对initiator去找一个好的 communication group ，但问题是：

首先，也是最大的问题， initiator 的确定是很模糊的，整片文章也规避了initiator的选择问题。而且由于 initiator 的决定性作用，假如初始选择的不好，整个模型会灾难性地挂掉。

其次，邻居的范围怎么定呢？这也是一个手动调的东西...

这两个问题使得复现论文非常困难。

而本篇的解决思路是centralized的attention，从根本上不存在前述的问题。

核心公式是用 centralized 的网络作为 critic 得到value：