相关资料
- 论文链接:Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
- 代码地址:
算法地址https://github.com/openai/maddpg
环境地址https://github.com/openai/multiagent-particle-envs - OpenAI官博:Learning to Cooperate,Compete, and Communicate
- 代码讲解:暂无
1.研究动机是什么
本文主要是将单智体算法应用于多智体环境,由于多智能体的环境状态由多个agent的行为共同决定,本身具有不稳定性(non-stationarity),Q-learning算法很难训练,policy gradient算法的方差会随着智能体数目的增加变得更大。
2.主要解决了什么问题
作者提出了一种actor-critic方法的变体MADDPG,对每个agent的强化学习都考虑其他agent的动作策略,进行中心化训练和非中心化执行,取得了显著效果。此外在此基础上,还提出了一种策略集成的训练方法,可以取得更稳健的效果(Additionally, we introduce a training regimen utilizing an ensemble of policies for each agent that leads to more robust multi-agent policies.)。
3.所提方法是什么
4.关键结果及结论是什么
4.1实验环境
Cooperative communication 合作通信: 这个任务由两个合作的智能体组成,一个说话者和一个听众,他们被放置在三个具有不同颜色的地标的环境中。在每个回合中,听众必须导航到特定颜色的地标处,并根据其到正确地标的距离获得奖励。然而,虽然听众可以观察地标的相对位置和颜色,但它不知道它必须导航到哪个地标。相反,说话者的观察由正确的界标颜色组成,并且它可以在每个时间步骤产生一个由听众观察到的通信输出。因此,说话者必须学会根据听众的动作输出地标的颜色。虽然这个问题相对比较简单,但是正如我们在5.2节中展示的那样,它对传统的RL算法提出了很大的挑战。
Cooperative navigation合作导航 : 在这种环境下,智能体必须通过物理行动协作抵达LL个地标。智能体观察其他智能体和地标的相对位置,并根据智能体与每个地标的接近程度进行集体奖励。换句话说,智能体必须“覆盖”所有的地标。此外,智能体占据显着的物理空间,并在相互碰撞时受到惩罚。我们的智能体学着推断他们必须覆盖的地标,并在避开其他智能体的同时移动到那里。
Keep-away远离: 这个场景由LL个地标组成,包括一个目标地标,NN个知道目标地标的合作智能体,根据他们与目标的距离给予奖励,MM个敌对智能体必须阻止合作智能体到达目标。敌对智能体通过将智能体从地标上推开,暂时占据地标来实现这一点。虽然敌对智能体也是根据他们与目标地标的距离给予奖励,但是他们不知道正确的目标;这必须从(其他)智能体的行动中推断出来。
Physical deception物理欺骗 :在这里,NN个智能体合作到达NN个目标地标。他们根据任何智能体到目标的最短距离得到奖励(所以只有一个智能体需要达到目标地标)。然而,一个单个的敌人也希望达到目标地标;这个问题的关键是对手不知道哪个地标是正确的。
因此,以对手距离为目标而受到惩罚的合作智能体,学着分散并占据所有地标,以欺骗对手。
Predator-prey捕食: 在这种经典捕食猎物博弈的变体中,NN个较慢的合作智能体必须围绕一个随机生成的环境追赶更快的对手,而LL个大地标阻碍了道路。每当合作智能体与对手发生冲突时,追捕的智能体就会得到奖励,而对手(也就是被捕食的智能体)则受到惩罚。捕食智能体可以观测到猎物智能体的相对位置和速度,以及地标的位置。
Covert communication隐蔽的沟通 这是一个敌对的通信环境,在这个环境中,一个说话者智能体(’Alice’)必须把一个消息传递给一个监听智能体(’Bob’),而这个智能体必须在另一端重建消息。然而,一个敌对的智能体(Eve)也在观察这个信道,并且想要重构这个信息 - Alice和Bob是基于Eve的重构而受到惩罚的,因此Alice必须使用随机生成的,只有Alice和Bob知道的密钥来编码她的信息。这与2中考虑的密码环境相似。