多智能体强化学习(一) IQL、VDN、QMIX、QTRAN算法详解

  一个完全合作式的多智能体任务(我们有n个智能体，这n个智能体需要相互配合以获取最大奖励)可以描述为去中心化的部分可观测马尔可夫决策模型(Dec-POMDP)，通常用一个元组$G$来表示：

$$G=⟨S,U,P,r,Z,O,n,\gamma ⟩$$

  其中$s\in S$表示环境的真实状态信息。在每一个时间步，对于每个智能体 a ∈ A ≡ { 1 , … , n } a \in A \equiv\{1, \ldots, n\} a∈A≡{1,…,n}都需要去选择一个动作$u^a\in U$去组成一个联合动作$\mathbf{u}\in \mathbf{U}\equiv U^n$，再将这个联合动作给到环境中去进行状态转移：$P\left(s^{\prime }\mid s,\mathbf{u}\right):S\times \mathbf{U}\times S\to [0,1]$。之后，所有的智能体都会收到一个相同的奖励：$r(s,\mathbf{u}):S\times \mathbf{U}\to \mathbb{R}$。与单智能体一样$\gamma$表示折扣因子。

  对于每个单智能体$a$来说，它接收的是一个独立的部分可观测的状态$z\in Z$，不同的智能体$a$具备不同的观测，但是所有的观测都来自环境的真实状态信息，所以可以用函数表示为：$O(s,a):S\times A\to Z$。对于每个智能体$a$它都有一个动作观测历史${\tau }^a\in T\equiv (Z\times U{)}^{\ast }$，基于这个动作-观测的历史来构建随机策略函数 ${\pi }^a\left(u^a\mid {\tau }^a\right):T\times U\to [0,1]$。联合动作策略$\pi$是基于状态信息$s_t$构建的联合动作值函数$Q^{\pi }\left(s_t,{\mathbf{u}}_t\right)={\mathbb{E}}_{s_{t+1:\infty },{\mathbf{u}}_{t+1:\infty }}\left[R_t\mid s_t,{\mathbf{u}}_t\right]$，其中$R_t={\sum }_{i=0}^{\infty }{\gamma }^i{r}_{t+i}$是折扣回报。

IQL

• IQL论文全称为：MultiAgent Cooperation and Competition with Deep Reinforcement Learning

  多智能体环境中，状态转移和奖励函数都是受到所有智能体的联合动作的影响的。对于多智能体中的某个智能体来说，它的动作值函数是依据其它智能体采取什么动作才能确定的。因此对于一个单智能体来说它需要去了解其它智能体的学习情况。

  这篇文章的贡献可能就是在于将DQN扩展到分散式的多智能体强化学习环境中吧，使其能够去处理高维复杂的环境。

  作者采用的环境是雅塔丽的Pong环境。作者基于不同的奖励函数设计来实现不同的多智能体环境。在竞争环境下，智能体期望去获取比对方更多的奖励。在合作的环境下，智能体期望去寻找到一个最优的策略去保持上图中的白色小球一直在游戏中存在下去。

  为了测试分散式DQN算法的性能，作者只通过奖励函数的设计就构建出来了不同的多智能体范式环境：

1. 完全竞争式：胜利方奖励+1，失败方奖励-1，是一个零和博弈。
2. 完全合作式：在这个环境设定下，我们期望这个白色小球在环境中存在的时间越长越好，如果一方失去了球，则两方的奖励都是-1。
3. 非完全竞争式：在完全竞争和完全合作式中，失去小球的一方奖励都式-1，对于胜利一方，作者设置一个系数$\rho \in [-1,1]$来看参数的改变对实验结果的影响。

  IQL(Independent Q-Learning)算法中将其余智能体直接看作环境的一部分，也就是对于每个智能体$a$都是在解决一个单智能体任务，很显然，由于环境中存在智能体，因此环境是一个非稳态的，这样就无法保证收敛性了，并且智能体会很容易陷入无止境的探索中，但是在工程实践上，效果还是比较可以的。

  独立的智能体网络结构可以参考下图所示：

VDN

• VDN论文全称为：Value-Decomposition Networks For Cooperative Multi-Agent Learning

  在合作式多智能体强化学习问题中，每个智能体基于自己的局部观测做出反应来选择动作，来最大化团队奖励。对于一些简单的合作式多智能体问题，可以用中心式(centralized)的方法来解决，将状态空间和动作空间做一个拼接，从而将问题转换成一个单智能体的问题。这会使得某些智能体在其中滥竽充数。

  另一种极端方式式训练独立的智能体，每个智能体各玩各的，也不做通信，也不做配合，直接暴力出奇迹。这种方式对于每个智能体来说，其它智能体都是环境的一部分，那么这个环境是一个非平稳态的(non-stationary)，理论上的收敛性是没法证明的。还有一些工作在对每个智能体都基于其观测设计一个奖励函数，而不是都用一个团队的团队奖励，这种方式的难点在于奖励函数的设计，因为设计的不好很容易使其陷入局部最优。

  VDN中提出一种通过反向传播将团队的奖励信号分解到各个智能体上的这样一种方式。其网络结构如下图所示：

  先看上图中的图1，画的是两个独立的智能体，因为对每个智能体来说，观测都是部分可观测的，所以$Q$函数是被定义成基于观测历史数据所得到的$Q\left(h_t,a_t\right)$，实际操作的时候直接用RNN来做就可以。图2说的就是联合动作值函数由各个智能体的值函数累加得到的：

$$Q\left(\left(h^1,h^2,\dots ,h^d\right),\left(a^1,a^2,\dots ,a^d\right)\right)\approx \sum _{i=1}^d{\tilde{Q}}_i\left(h^i,a^i\right)$$

  其中$d$表示$d$个智能体，${\tilde{Q}}_i$由每个智能体的局部观测信息得到，${\tilde{Q}}_i$是通过联合奖励信号反向传播到各个智能体的${\tilde{Q}}_i$上进行更新的。这样各个智能体通过贪婪策略选取动作的话，也就会使得联合动作值函数最大。

  总结来说：值分解网络旨在学习一个联合动作值函数$Q_{tot}(\tau ,\mathbf{u})$，其中$\tau \in \mathbf{T}\equiv {\mathcal{T}}^n$是一个联合动作-观测的历史轨迹，$\mathbf{u}$是一个联合动作。它是由每个智能体$a$独立计算其值函数$Q_a\left({\tau }^a,u^a;{\theta }^a\right)$，之后累加求和得到的。其关系如下所示：

$$Q_{tot}(\tau ,\mathbf{u})=\sum _{i=1}^n{Q}_i\left({\tau }^i,u^i;{\theta }^i\right)$$

  严格意义上说$Q_a\left({\tau }^a,u^a;{\theta }^a\right)$称作值函数可能不太准确，因为它并没有严格估计期望回报。

  值分解的独立的智能体网络结构可以参考下图所示：

  如果在此基础上在加上底层的通信的话可以表示为如下形式(其实就是将各个智能体的观测给到所有的智能体)：

  如果是在高层做通信的话可以得到如下形式：

  如果是在底层加上高层上都做通信的话可以得到如下形式：

  如果是集中式的结构的话，可以表示为如下形式：

QMIX

  QMIX论文全称为：QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning

  在之前的值分解网络中，拿到了联合动作的$Q$值之后，我们就可以直接取能够获取最大的$Q_{tot}(\tau ,\mathbf{u})$所对应的联合动作。这种方式就能够实现集中式学习，但是得到分布式策略。并且对全局值函数做argmax与对单个智能体地值函数做argmax能够得到相同的结果：

$$\underset{\mathbf{u}}{\mathrm{argmax}}{Q}_{tot}(\tau ,\mathbf{u})=\left(\begin{array}{c}{\mathrm{argmax}}_{u^1}{Q}_1\left({\tau }^1,u^1\right)\\ ⋮\\ {\mathrm{argmax}}_{u^n}{Q}_n\left({\tau }^n,u^n\right)\end{array}\right)\text{(1)}$$

  这样的话，每个智能体$a$都可以基于$Q_a$以贪婪策略选择动作。由于每个子智能体都采用贪婪策略，因此这个算法必定会是off-policy的算法，这一点是很容易实现的，并且样本的利用率会比较高。在VDN中采用的是线性加权，因此上述等式会成立，而如果是采用一个神经网络来学习融合各个智能体的$Q$函数的话，上述等式就未必会成立了。

  在QMIX中也是需要一个联合动作值函数的，但是与值分解网络的不同之处在于，这个联合动作值函数并不是简单地由各个智能体的值函数线性相加得到的。为了保证值函数的单调性来使得上述等式(1)能够成立，作者对联合动作值函数$Q_{tot}$和单个智能体动作值函数$Q_a$之间做了一个约束：

$$\frac{\partial Q_{tot}}{\partial Q_a}\ge 0,\forall a\in A|\text{(2)}$$

  设计思想如上所示，具体的网络结构如下图所示：

  上述这个复杂的网络结构可以拆分为如下三部分：

1. agent networks: 对于每个智能体都要学一个独立的值函数$Q_a\left({\tau }^a,u^a\right)$，单个智能体的网络结构采用DRQN的网络结构，在每个时间步，接收当前的独立观测$O_t^a$和上一个动作${\mu }_{t-1}^a$，如上图(c)所示。
2. mixing network: 是一个全连接网络，接收每个智能体的输出$Q_n\left({\tau }^n,u_t^n\right)$作为输入，输出联合动作值函数$Q_{tot}(\mathbf{\tau },\mathbf{u})$，对每个子智能体的动作值函数做非线性映射，并且要保证单调性约束。想要保证公式(2)的单调性约束的话，我们只需要保证mixing network的权重非负即可。
3. hypernetworks: hypernetworks网络去产生mixing network的权重，超参数网络输入状态$s$，输出Mixing网络的每一层的超参数向量，激活函数来使得输出非负，对于Mixing网络参数的偏置并没有非负的要求。

  QMIX的训练方式是端到端的训练：

$$\mathcal{L}(\theta )=\sum _{i=1}^b\left[{\left(y_i^{tot}-Q_{tot}(\tau ,\mathbf{u},s;\theta )\right)}^2\right]$$

  其中$b$表示从经验池中采样的样本数量，$y^{\text{tot }}=r+\gamma {\max }_{{\mathbf{u}}^{\prime }}{Q}_{tot}\left({\tau }^{\prime },{\mathbf{u}}^{\prime },s^{\prime };{\theta }^{-}\right)$，${\theta }^{-}$为目标网络参数。由于公式(1)的存在，对$Q_{tot}$取argmax的话，就是与智能体数量呈线性增长关系了。

  上述算法中，单纯地去考虑前向传播的话，智能体之间其实是没有配合的。仅仅是取每个智能体能够获得的最大的值函数。因为对于单个智能体来说，它的最优动作是基于队友智能体的动作下得到的，但是由于整个网络是端到端进行训练的，所以感觉问题也不大。

  还有就是在基于单个智能体的动作值函数下得到联合动作值函数的过程中，也就是在Mixing网络中有考虑状态$s_t$，所以相当于是有考虑全局的信息下去得到一个联合动作值函数。

QTRAN

• QTRAN论文全称为：QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement learning
• 代码：https://github.com/Sonkyunghwan/QTRAN

  之前说的VDN和QMIX都是值分解领域的两大标杆性文章，并且在一般的工程项目实战上VDN和QMIX的效果就还是比较好的，不过是在论文中的效果有被弱化，更具体地可以参考看一下这篇文章：RIIT: Rethinking the Importance of Implementation Tricks in Multi-Agent Reinforcement Learning。但是这篇QTRAN从理论层面还是值得分析一下的：

  值分解地文章其实就是在保证联合动作取argmax的时候能够是对各个智能体的值函数取argmax。VDN中采用的是线性求和的方式，QMIX中采用的是保证单调性。对于一些任务，比如像联合动作的最优就是各个智能体的单独的最优的值函数，这样的问题可以采用这种方式，对于不是这类型的问题的话，这种限制就太强了。QTRAN提出了一种新的值分解的算法。

  不管这个值分解如何分解，其实它们都需要取保证一个东西：

$$\underset{\mathbf{u}}{\mathrm{argmax}}{Q}_{tot}(\tau ,\mathbf{u})=\left(\begin{array}{c}{\mathrm{argmax}}_{u^1}{Q}_1\left({\tau }^1,u^1\right)\\ ⋮\\ {\mathrm{argmax}}_{u^n}{Q}_n\left({\tau }^n,u^n\right)\end{array}\right)\text{(1)}$$

  VDN和QMIX中的线性求和和保证单调性都能够去保证上述条件的成立，也就是给了两个充分条件，但不是必要条件。为了之后更好的理论分析，在QTRAN中对上述这个东西做了一个定义IGM (Individual-Global-Max)：

• IGM定义：对于一个联合动作值函数 $Q_{\mathrm{j}\mathrm{t}}:{\mathcal{T}}^N\times {\mathcal{U}}^N\mapsto \mathbb{R}$，其中$\mathbf{\tau }\in {\mathcal{T}}^N$是一个联合动作观测的历史轨迹。如果对于独立的智能体存在一个动作值函数${\left[Q_i:\mathcal{T}\times \mathcal{U}\mapsto \mathbb{R}\right]}_{i=1}^N$，满足如下关系式的话：

$$\arg \underset{\mathbf{u}}{\max }{Q}_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\mathbf{u})=\left(\begin{array}{c}\arg {\max }_{u_1}{Q}_1\left({\tau }_1,u_1\right)\\ ⋮\\ \arg {\max }_{u_N}{Q}_N\left({\tau }_n,u_N\right)\end{array}\right)\text{(2)}$$

  我们就说在轨迹$\mathbf{\tau }$下，$\left[Q_i\right]$对$Q_{\mathrm{j}\mathrm{t}}$满足IGM条件。$Q_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\mathbf{u})$是能够被$\left[Q_i\left({\tau }_i,u_i\right)\right]$分解的，$\left[Q_i\right]$是$Q_{\mathrm{j}\mathrm{t}}$的分解因子。

  QTRAN中将原始的$\left[Q_i\right]$映射成一个新的$Q_{\mathrm{j}\mathrm{t}}^{\prime }$

QTRAN直观理解

  在VDN和QMIX中是将$Q_{\mathrm{j}\mathrm{t}}$通过累加求和和保证单调性的方式来分解的，作者这里提出一种更加鲁棒的分解方式，将原始的$Q_{\mathrm{j}\mathrm{t}}$映射成$Q_{\mathrm{j}\mathrm{t}}^{\prime }$，通过$Q_{\mathrm{j}\mathrm{t}}^{\prime }$去分解值函数到各个子智能体上，来保证学到的$Q_{\mathrm{j}\mathrm{t}}^{\prime }$与真实的动作值函数$Q^{\ast }$非常接近。这样在学习真实的动作值函数的时候，没有像VDN和QMIX那样对其加上一些累加求和和保证单调性的限制，所以它能学地更好。

  但是由于部分可观测地限制，这个$Q_{\mathrm{j}\mathrm{t}}^{\prime }$是没有办法用来进行具体地决策的，所以我们需要去找到$Q_{\mathrm{j}\mathrm{t}}$、$Q_{\mathrm{j}\mathrm{t}}^{\prime }$和$\left[Q_i\right]$三者之间的关系。

可分解值函数的充分条件

  由于不提供累加求和和单调性来保证可分解，QTRAN提出了一个满足IGM定义的充分条件：当动作值函数$Q_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\mathbf{u})$和$\left[Q_i\left({\tau }_i,u_i\right)\right]$满足下面这个关系式时，我们认为它是可分解的：

$$\sum _{i=1}^N{Q}_i\left({\tau }_i,u_i\right)-Q_{\mathrm{j}\mathrm{t}}(\tau ,\mathbf{u})+V_{\mathrm{j}\mathrm{t}}(\mathbf{\tau })=\{\begin{array}{ll}0& \mathbf{u}=\overline{\mathbf{u}}\\ \ge 0& \mathbf{u}\ne \overline{\mathbf{u}}\end{array}$$

  其中$V_{\mathrm{j}\mathrm{t}}(\tau )={\max }_{\mathbf{u}}{Q}_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\mathbf{u})-{\sum }_{i=1}^N{Q}_i\left({\tau }_i,{\bar{u}}_i\right)$。

• 证明：想要通过上述条件证明出满足IGM条件，也就是$\arg {\max }_{\mathbf{u}}{Q}_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\mathbf{u})=\overline{\mathbf{u}}$时(其中${\bar{u}}_i=\arg {\max }_{u_i}{Q}_i\left({\tau }_i,u_i\right)$)才能取到全局最大的动作值函数。

  当$\mathbf{u}=\overline{\mathbf{u}}$时，由充分条件第一条可以得出：$Q_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\overline{\mathbf{u}})={\sum }_{i=1}^N{Q}_i\left({\tau }_i,{\bar{u}}_i\right)+V_{\mathrm{j}\mathrm{t}}(\mathbf{\tau })$。说明在智能体动作最优的情况下，能够保证全局的也是最优的。

  当$\mathbf{u}\ne \overline{\mathbf{u}}$时，$V_{\mathrm{j}\mathrm{t}}\ge Q_{\mathrm{j}\mathrm{t}}(\tau ,\mathbf{u})-{\sum }_{i=1}^N{Q}_i\left({\tau }_i,u_i\right)$，又因为：

$$\begin{array}{rl}{Q}_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\overline{\mathbf{u}})& =\sum _{i=1}^N{Q}_i\left({\tau }_i,{\bar{u}}_i\right)+V_{\mathrm{j}\mathrm{t}}(\mathbf{\tau })\\ & \ge \sum _{i=1}^N{Q}_i\left({\tau }_i,u_i\right)+V_{\mathrm{j}\mathrm{t}}(\mathbf{\tau })\\ & \ge \sum _{i=1}^N{Q}_i\left({\tau }_i,u_i\right)+Q_{\mathrm{j}\mathrm{t}}(\tau ,\mathbf{u})-\sum _{i=1}^N{Q}_i\left({\tau }_i,u_i\right)\\ & \ge Q_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\mathbf{u}).\end{array}$$

  说明只有在各个智能体都采取最优动作的时候才能获得联合动作值函数最大。IGM条件得证。

可分解值函数的必要条件

  必要条件说的是，当满足IGM条件时，能够把充分条件给推出来。作者在论文中说到，存在一个仿射函数$\varphi (\mathbf{Q})=A\cdot \mathbf{Q}+B$对$Q$进行一个映射，其中$\left[a_{ii}\right]\in {\mathbb{R}}_{+}^{N\times N}$为一个对角矩阵，并且$a_{ii}>0$。看到这我人都傻了，这不就是QMIX吗，换了个马甲我就不认识你啦。。。其实不是，还多个一个$B$，$B=\left[b_i\right]\in {\mathbb{R}}^N$。

  作者将$Q_i$进行了一个缩放，$a_{ii}{Q}_i+b_i$。然后定义：

$$Q_{\mathrm{j}\mathrm{t}}^{\prime }(\mathbf{\tau },\mathbf{u}):=\sum _{i=1}^N{Q}_i\left({\tau }_i,u_i\right)$$

  这个就是VDN了，不同之处就是多了一个修正项$B$。

  其网络结构如下：

  网络结构中主要有三部分：

1. 独立的动作值网络：$f_{\mathrm{q}}:\left({\tau }_i,u_i\right)\mapsto Q_i$。对于每个动作值网络，输入是他自己的动作观测历史${\tau }_i$，输出动作值函数$Q_i\left({\tau }_i,\cdot \right)$。$Q_{\mathrm{j}\mathrm{t}}^{\prime }$各个子智能体的动作值函数累加得到。
2. 联合动作值网络：$f_{\mathrm{r}}:(\tau ,\mathbf{u})\mapsto Q_{\mathrm{j}\mathrm{t}}$。如上图所示，网络的前面几层参数是共享的，用所有的独立智能体的动作值函数向量来采样样本，更新联合动作值函数。
3. 状态值网络：$f_{\mathrm{v}}:\tau \mapsto V_{\mathrm{j}\mathrm{t}}$。状态值函数类似dueling网络，并且这里可以引入全局的状态信息，它是独立于动作轨迹的，但是可以用来辅助动作值函数的训练。

  此时损失函数可以表达成如下形式：

$$\begin{array}{rl}{L}_{\mathrm{t}\mathrm{d}}(;\mathbf{\theta })& ={\left(Q_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\mathbf{u})-y^{\mathrm{d}\mathrm{q}\mathrm{n}}\left(r,{\mathbf{\tau }}^{\prime };{\mathbf{\theta }}^{-}\right)\right)}^2\\ L_{\mathrm{o}\mathrm{p}\mathrm{t}}(;\mathbf{\theta })& ={\left(Q_{\mathrm{j}\mathrm{t}}^{\prime }(\mathbf{\tau },\overline{\mathbf{u}})-{\hat{Q}}_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\overline{\mathbf{u}})+V_{\mathrm{j}\mathrm{t}}(\mathbf{\tau })\right)}^2\\ L_{\mathrm{n}\mathrm{o}\mathrm{p}\mathrm{t}}(;\mathbf{\theta })& ={\left(\min \left[Q_{\mathrm{j}\mathrm{t}}^{\prime }(\mathbf{\tau },\mathbf{u})-{\hat{Q}}_{\mathrm{j}\mathrm{t}}(\mathbf{\tau },\mathbf{u})+V_{\mathrm{j}\mathrm{t}}(\mathbf{\tau }),0\right]\right)}^2\end{array}$$

  第一个loss$L_{\mathrm{t}\mathrm{d}}$可以无忧无虑地去近似最优的联合动作值函数，下面两个就是用来去满足可分解值函数地充分必要条件的。

  除此之外作者还提出了几个QTRAN算法的变种，整体算法如下图所示：

参考

• MultiAgent Cooperation and Competition with Deep Reinforcement Learning
• Value-Decomposition Networks For Cooperative Multi-Agent Learning
• QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
• QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement learning