让AI多智能体学习合作、竞争和交流

1、多智能体强化学习

为什么需要多智能体（multi-agent）学习?

人工智能学习的梯度下降算法寻优方法，类似从山顶放置小球向下滚，希望寻找最快最好的路径，到达最低的谷底。

传统的单个智能体每次只使用一个小球，学习训练并使用一条路径，重复多次。

而多个智能体类似放置一群小球，同时分别学习训练并使用各自的多条路径，向下滚动过程中互相联系通信，相互告知自己的位置及状态，团队合作，引导共同到达最低的谷底。

参见上图，多智能体（multi-agent）学习，相比单智能体：

• 多智能体智能体保持各自独特性和总体多样性 多智能体协同学习互通信息，效率更高，梯度下降速
• 更快 多智能体更易到达全局更优（上右图）
• 多智能体收敛性

2. Actor-Critic和MADDPG

Google DeepMind 提出Actor-Critic，多个agent各自训练，分别更新主结构中的参数，协同进行寻优

OpenAI： MADDPG（Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments）用于实现多智能体环境中的集中式学习和分散式执行，让智能体学习互相合作、互相竞争

用MADDPG算法训练四个红色圆点追逐两个绿色圆点，红色圆点已经学会彼此合作追逐同一个绿色圆点，以获得更高的奖励。与此同时，绿色圆点学会了“分头行动”，其中一个被红点追逐，其他的则试图接近蓝色圆点获得奖励，同时避开红色圆点。

每个协同的智能体无需具备中间的评委官；它们根据观察以及对其他智能体行为的预测，做出动作。由于一个中心化的评委是为每个智能体独立学习的，这种方法也可以用来模拟多智能体之间的任意奖励结构，包括拥有相反奖励的对抗案例。

OpenAI研究人员在多任务上经过测试，结果均优于DDPG上的表现。在上图的动画中，从上至下可以看到：两个智能体试图前往特定位