上榜ICML2022， 网易伏羲研究成果助力优化游戏AI训练流程

近日，中国计算机学会（CCF）推荐的A类国际学术会议ICML 2022公布论文评审结果。网易伏羲投稿的论文《基于个体奖励协助的多智能体强化学习（Individual Reward Assisted Multi-Agent Reinforcement Learning）》顺利入选，意味着网易伏羲的AI研究成果得到了业界的广泛认可。

论文《基于个体奖励协助的多智能体强化学习》提出了一种融合个体奖励与团队奖励来进行策略优化的新型范式——基于个体奖励协助的团队策略学习算法（Individual Reward Assisted Team Policy Learning，IRAT）。IRAT算法可以通过更加合理地利用个体奖励，有效解决诸多应用场景下稀疏奖励、奖励调整繁琐等问题，从而达到优化训练流程、降本增效的效果。该论文由网易伏羲与清华大学张崇洁老师团队、南京大学高阳老师团队、天津大学郝建业老师团队合作完成。

据悉，该项研究来源于业务普遍痛点。在相当多的应用场景中，多智能体强化学习都面临着团队奖励稀疏的问题。例如，在足球、篮球、MOBA等团队竞技的游戏中，往往只有最终的游戏输赢能够定义为团队奖励（Team Reward）。比较普遍的解决方法是根据任务相关的先验知识，为每个智能体设计一套与团队合作具有一定相关性的个体奖励（Individual Reward），鼓励智能体做出有利于团队合作的行为。例如在篮球游戏中，可以对“盖帽”“挡拆”“抢断”等行为加以鼓励，也可以对“传球出界”“被封盖”“被抢断”“带球过多”等事件加以惩罚。然而，现有