maddpg/Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments

总结

ddpg，每个agent的q，输入为所有agent的action及所有agent的obs，即actor是分开的，公用1个critic

细节

actor-critic，multi-agent合作

前置条件：

1. 每个agent的policy只能使用local info，即自己的obs
2. env模型不是differentiable
3. agent之间的交流器不differentiable

更新policy时：
$${\nabla }_{{\theta }_i}J({\theta }_i)=\mathbb{E}[{\nabla }_{{\theta }_i}\log {\pi }_i(a_i$$