多智能体强化学习理论及其应用综述

源自：模式识别与人工智能

作者：陈卓然, 刘泽阳, 万里鹏, 陈星宇, 朱雅萌, 王成泽, 程翔, 张亚, 张森林, 王晓辉, 兰旭光

摘要

强化学习是一种用于解决序列决策问题的常用机器学习方法，核心思想是让智能体与环境交互获得反馈，从而逐步学会最佳策略。随着实际应用对计算能力和数据规模的要求不断提高，单体智能转向群体智能逐渐成为人工智能未来发展的必然趋势，这为强化学习带来诸多新的机遇和挑战。文中首先从深度多智能体强化学习概念着手，针对目前的理论困境，如可拓展性较差、效用分配较难、探索-利用困境、环境非稳态、信息部分可观测等问题，进行提炼和分析。然后，详细阐述目前学者对于这些问题提出的多种解决方法及其优缺点。最后，介绍当前多智能体强化学习的典型训练学习环境和智慧城市建设、游戏、机器人控制、自动驾驶等复杂决策领域的实际应用，并总结协作多智能体强化学习面临的挑战和未来发展方向。

关键词

深度强化学习, 多智能体, 效用分配, 人类反馈, 马尔科夫决策过程

引言

1深度多智能体强化学习基本理论

1. 1深度多智能体强化学习原理

1. 2 值函数法和策略搜索法

1. 2. 1 值函数法

1. 2. 2 策略搜索法

1.