[NIPS2017] A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning 笔记

前言

为了实现通用智能，agent需要学会在共享的环境中与彼此交互，这就是MARL的挑战。最简单的形式是independent reinforcement learning (InRL)，忽略其他agent，将交互当做（局部）环境的一部分，但在训练时往往会过拟合到其他人的策略，导致执行时不能有效泛化，观察越局部越严重。当然还包括局部环境非稳态和非马尔科夫性导致的难以保证收敛。作者引入了一个新的指标——joint-policy correlation（JPC），来量化这个影响。作者描述了一种针对一般MARL的算法——基于DRL产生的策略混合的近似最优反应，和为策略选择计算meta-strategies的经验博弈论分析——以及一种可扩展实现，使用解耦的meta-solvers来降低内存需求。CTDE的结构，主要是有集中的收益表。

https://arxiv.org/abs/1711.00832

Background and Related Work

一般式博弈是一个元组$(\Pi ,U,n)$，其中$n$是玩家的数量，$\Pi$是策略集，$U$是效用的收益表。扩展式博弈将这种形式扩展到多步顺序情况。

玩家通过从${\Pi }_i$中选择策略，或者根据分布${\sigma }_i$采样策略最大化期望效用。${\sigma }_i$的质量跟策略有关，因此不能被单独找到或评估。每个有限扩展式博弈都有等价的一般式博弈，但是指数级的更大，导致算法不得不直接解决序贯形式的。

有几种计算策略的算法。 在零和博弈中，可以使用例如 线性规划、fictitious play、replicator dynamics或悔恨最小化。其中一些技术已经扩展到扩展（顺序）形式，状态空间的大小呈指数增长。然而，这些扩展几乎只处理两人的情况，但有一些明显的例外。Fictitious play也收敛于包括合作（相同收益）游戏在内的潜在游戏。

double oracle (DO)算法解决一组两人、一般式的子博弈，在时间t由子集${\Pi }_t\subset \Pi$得出。一个子博弈$G_t$的收益矩阵只包含对应于${\Pi }_t$中策略的项。在每个时间步$t$，一个均衡${\sigma }^{\ast ,t}$从子博弈$G_t$中得到，并且为了得到$G_{t+1}$，每个玩家添加一个来自完整空间${\Pi }_i$的BR ${\pi }_i^{t+1}$，所以对于所有的玩家$i$， Π i t + 1 = Π i t ∪ { π i t + 1 } \Pi_i^{t+1}=\Pi_i^t\cup\{\pi_i^{t+1}\} Πit+1​=Πit​∪{ πit+1​}。在零和博弈中，需要$|{\Pi }_t|$的多项式时间找到均衡，在一般和博弈中是PPAD-complete的（它们不是判定问题，纳什均衡点的存在性是有纳什定理直接保证的；它们也不是优化问题，因为没有一个优化的目标。从本质上讲，它们是一类不动点的计算问题，所以从传统的NP-Complete角度来研究他们的计算复杂度并不合适。但是否存在第二个均衡的问题是NP-Complete的）。

很明显，两人博弈中DO保证收到均衡，但是最差情况需要枚举整个策略空间，比如石头剪刀布。然而，有证据表明，许多博弈的支持大小会随着episode长度、隐藏信息揭示的多少和/或对收益的影响而缩小。已经开发了扩展式博弈的扩展，但由于维度灾难，大型状态空间仍然存在问题。

经验博弈论分析 (EGTA) 是对通过复杂博弈中的模拟获得的meta-strategies的研究。一个规模比完整博弈小得多的经验博弈是通过发现策略和对策略进行元推理以导航策略空间来构建的。当明确列举博弈策略的成本高得令人望而却步时，这是必要的。估计每个联合策略的期望效用并将其记录在经验收益表中。分析经验博弈，并继续模拟过程。EGTA 已被用于交易代理竞赛 (TAC) 和自动竞价拍卖。

作者的目标是通过学习发现新的策略，不是计算精确的BR，而是使用强化学习计算近似的BR，这在计算上更可行，fictitious play可以处理近似。考虑到有限理性的自然约束，它在生物学上也更合理。 在行为博弈论中，重点是预测人类采取的行动，并有意限制反应以提高预测能力。

Neural Fictitious Self-Play

许多现实应用可以看做大规模的非完美信息博弈，其是第一个不需要先验领域知识、端到端可扩展地学习近似纳什均衡的方法。虽然许多机器学习方法已经为经典的完美信息博弈实现了近乎最优的解决方案，但这些方法无法在不完美信息博弈中收敛。另一方面，许多用于寻找纳什均衡的博弈论方法缺乏学习抽象模式并使用它们来泛化到新情况的能力。

Neural Fictitious Self-Play (NFSP) 将 FSP 与神经网络函数逼近相结合。NFSP agent由两个神经网络组成。第一个网络是通过off-policy强化学习训练。该网络学习对其他agent的历史行为的近似最佳反应。第二个网络是通过从agent自身行为的记忆经验中进行监督学习来训练的。该网络学习了一个模型，对agent自己的历史策略进行了平均。agent根据其平均策略和最佳反应策略的混合来行动。

agent独立地同时在环境中行动，$M_{RL}$中存transitions， M S L M_{SL}