【强化学习】多智能体强化学习 (MARL) – 超越单智能体：理论、算法与实践

摘要

传统强化学习 (Reinforcement Learning, RL) 主要关注单个智能体在静态或由环境动态决定的环境中的学习。然而，现实世界中的许多复杂问题本质上涉及多个智能体之间的交互，例如自动驾驶车队协调、机器人协同操作、多玩家游戏甚至经济系统建模。多智能体强化学习 (Multi-Agent Reinforcement Learning, MARL) 正是应对这类挑战的关键技术。本文将深入探讨 MARL 的基本概念、其相较于单智能体 RL 的核心挑战（非平稳性、信用分配、协调与竞争），并详细解析主流的 MARL 范式——集中训练，分散执行 (Centralized Training, Decentralized Execution, CTDE)。文章将重点介绍几种代表性算法，包括 MADDPG、QMIX 和 VDN，并提供一个基于合作网格世界环境的简化代码实现，旨在帮助读者理解 MARL 的核心原理及其在复杂系统中的应用。

---

1. 引言

强化学习在近年来取得了举世瞩目的成就，主要得益于深度学习与传统 RL 算法的结合，使得智能体能够在高维、复杂环境中从原始观测中直接学习最优策略。然而，大多数成功的 RL 应用，如 AlphaGo、Atari 游戏等，都聚焦于单智能体决策问题。在这些场景中，环境的动态性通常由智能体自身的行为和固定的物理定律决定，智能体只需优化自身策略以最大化长期累