多智能体深度强化学习的主要困难_多智能体强化学习入门（一）——基础知识与博弈

一、引言

在多智能体系统中，每个智能体通过与环境进行交互获取奖励值（reward）来学习改善自己的策略，从而获得该环境下最优策略的过程就多智能体强化学习。

在单智能体强化学习中，智能体所在的环境是稳定不变的，但是在多智能体强化学习中，环境是复杂的、动态的，因此给学习过程带来很大的困难。

1. 维度爆炸：在单体强化学习中，需要存储状态值函数或动作-状态值函数。在多体强化学习中，状态空间变大，联结动作空间（联结动作是指每个智能体当前动作组合而成的多智能体系统当前时刻的动作，联结动作
   ，
   指第i个智能体在时刻t选取的动作。）随智能体数量指数增长，因此多智能体系统维度非常大，计算复杂。
2. 目标奖励确定困难：多智能体系统中每个智能体的任务可能不同，但是彼此之间又相互耦合影响。奖励设计的优劣直接影响学习到的策略的好坏。
3. 不稳定性：在多智能体系统中，多个智能体是同时学习的。当同伴的策略改变时，每个智能体自身的最优策略也可能会变化，这将对算法的收敛性带来影响。
4. 探索-利用：探索不光要考虑自身对环境的探索，也要对同伴的策略变化进行探索，可能打破同伴策略的平衡状态。每个智能体的探索都可能对同伴智能体的策略产生影响，这将使算法很难稳定，学习速度慢。

在多智能体系统中智能体之间可能涉及到合作与竞争等关系，引入博弈的概念，将博弈论与强化学习相结合可以很好的处理这些问题。

二、博弈论基础

在本节中主要介绍多智能体强化学习中需要用到的一些概念及定义，仅局限于多智能体强化学习算法的理解分析。包括矩阵博弈、静态博弈、阶段博弈、重复博弈和随机博弈等概念。

1. 矩阵博弈

一个矩阵博弈可以表示为

，n表示智能体数量，

是第i个智能体的动作集，

表示第i个智能体的奖励函数，从奖励函数可以看出每个智能体获得的奖励与多智能体系统的联结动作有关，联结动作空间为

。每个智能体的策略是一个关于其动作空间的概率分布，每个智能体的目标是最大化其获得的奖励值。

令

表示智能体i在，联结策略

下的期望奖励，即值函数。

定义1：纳什均衡

在矩阵博弈中，如果联结策略

满足

则为一个纳什均衡。

总体来说，纳什均衡就是一个所有智能体的联结策略。在纳什均衡处，对于所有智能体而言都不能在仅改变自身策略的情况下，来获得更大的奖励。

定义