基于动态自选择参数共享的合作多智能体强化学习算法

【摘 要】在多智能体强化学习的研究中，参数共享作为学习过程中一种信息集中的方式，可以有效地缓解不稳定性导致的学习低效性。但是，在实际应用中智能体使用同样的策略往往会带来不利影响。为了解决此类过度共享的问题，提出了一种新的方法来赋予智能体自动识别可能受益于共享参数的智能体的能力，并且可以在学习过程中动态地选择共享参数的对象。具体来说，智能体需要将历史轨迹编码为可表示其潜在意图的隐信息，并通过与其余智能体隐信息的对比选择共享参数的对象。实验表明，提出的方法在多智能体系统中不仅可以提高参数共享的效率，同时保证了策略学习的质量。

【关键词】  多智能体系统 ; 强化学习 ; 参数共享

0 引言

多智能体强化学习（multi-agent reinforcement learning，MARL）旨在在共享环境中联合训练多个智能体从而完成给定的任务。近期，多智能体强化学习领域中应用非常广泛的是中心化学习去中心化执行（centralized learning decentralized execution，CTDE）的训练框架。CTDE框架使智能体在学习的过程中可以共享经验池中的历史轨迹，进行必要的信息互补，因此被广泛应用于多智能体强化学习的算法设计和实现中，例如：联合动作学习（joint action learning）、智能体建模（agent modelling）、多智能体通信（multi-agent communication）以及信任分配问题（credit assignment）。

然而，当多智能体系统（multi-agent system， MAS）规模较大时，