多智能体强化学习TOM2C: TARGET-ORIENTED MULTI-AGENT COMMUNICATION AND COOPERATION WITH THEORY OF MIND

背景及关键idea

abstract

能够预测他人的心理状态是有效社交的关键因素。这对于分布式多代理系统也很重要，在这种系统中，代理需要进行通信和合作。在本文中，我们介绍了一种重要的社会认知技能，即心理理论 (ToM)，以构建能够有效沟通和合作以完成具有挑战性任务的社会智能代理。使用 ToM，每个代理都能够根据其（本地）观察来推断他人的心理状态和意图。根据推断的状态，代理人决定“何时”以及与“谁”分享他们的意图。通过观察、推断和接收的信息，智能体决定他们的子目标并在团队中达成共识。最后，低级执行者独立采取原始行动来完成子目标。我们在两个典型的面向目标的多代理任务中展示了这个想法：合作导航和多传感器目标覆盖。实验表明，所提出的模型不仅在奖励和通信效率方面优于最先进的方法，而且在不同规模的环境中表现出良好的泛化能力。

关键idea

在多智能体系统中，每个agent $i$ 通过推断其他 agent 的观测和意图进行决策，并根据推断的结果进行选择“何时 ”以及 “与谁”进行通信,利用图神经网络和“剪枝”的操作减少冗余的通信。

主要贡献

• 引入了一种受认知启发的socia agent，它能够推断他人的心理状态，以增强面向目标任务中的多代理合作。
• 提供了一种基于 ToM 的通信机制和一种通信缩减方法来提高多代理通信的效率
• 在两个典型的面向目标的任务中进行了实验：合作导航和多传感器多目标覆盖问题

关键方法

整体网络结构

整体网络结构主要分为四个部分

• Observation Encoder 观测状态编码器： 对观测状态$o_i$进行编码
• ToM Net(Theory of Mind Network) 心智理论网络： 推断其他智能体的观测和意图
• Message Sender 消息发送模块：构造本地通信图，向部分其他智能体发送消息
• Decision Maker 决策模块 ： 根据推断的其他智能体的意图、自身的观测编码、接收到的消息做上层决策Planner，上层Planner将决策发送给底层执行器Executer

Observation Encoder 观测状态编码器

使用注意力模块对 $o_i$ 进行编码，$o_i$ 经过三个网络分别生成 $Q_i、K_i、V_i$ , $E_i=softmax(\frac{Q_i{K}_i^T}{\sqrt{d_k}})\odot V_i$

符号	含义
$o_{i,q}$	目标$q$对智能体$i$的原始特征
$E_{i,q}$	目标$q$对智能体$i$的编码特征

ToM Net(Theory of Mind Network) 心智理论网络

ToMNet使代理能够推断他人的观察和意图。对于智能体 $i$，ToMNet 将智能体的位置 $\Phi$ 和编码的局部观察 $E_i$ 作为输入。然后它推断其他智能体的观察 ${ϵ}_{i,j}$和意图$g_{i,j}^{\ast }$。
agent $i$ 的整个 ToMNet 在概念上由 n-1 个独立的子模块组成，它们分别专注于对一个 agent 的思维进行建模。$To{M}_i$ 是$To{M}_{i,j}$, $To{M}_{i,k}$, $To{M}_{i,l}$, 的集合。这些模型共享参数，因为所有智能体都是同质的。这样，我们就可以随着agent数量的变化相应地调整ToMNets中子模块的数量。
每个子模块由两个更小的单元组成:Observation Estimation 观测估计单元和Goal Inference目标推断单元，这两个单元通过监督学习的方式进行训练

符号	含义
${ϵ}_{i,j}$	智能体$i$推测的智能体$j$的观测
$\Phi$	其他智能体$j(j\ne i)$的位置信息
$E_i$	智能体$i$的观测编码
$g_{i,j}^{\ast }$	智能体$i$推测智能体$j$选择目标的概率
$g_{i,j,q}^{\ast }$	智能体$i$推测智能体$j$选择目标q的概率

Observation Estimation 观测估计单元

观测估计单元将其他智能体的位置 $\Phi$ 作为输入，输出智能体 $i$ 推断的其他智能体 $j(j\ne i)$的观测 ${ϵ}_{i,j}$
在实现 中，使用 GRU 来模拟其他人在时间序列上的观察。在目标覆盖任务中，智能体 i 推断哪些目标在智能体 j 的观察范围内，在合作导航任务中，智能体 i 推断哪个地标最接近智能体 j。

Goal Inference 目标推断单元

在智能体 $i$ 完成对其他人的观察估计后，它能够预测他们将在这一步选择哪些目标。
$$g_{i,j,q}^{\ast }=GI(E_{i,q},{ϵ}_{i,j}),G{I}^{\ast }\in {\mathbb{R}}^{(n-1)\times m}$$
由于环境中共有 n 个代理和 m 个目标,因此每个单元输出的是智能体$j$选每个目标(共有m个)的概率，一共有n-1个这样的单元

Message Sender 消息发送模块

消息发送者利用 ToMNet 推断的其他人的心理状态来独立决定“何时”以及与“谁”进行通信。在通信过程中，智能体 $i$ 向 $j$ 发送的消息就是推断的意图 $g_{i,j}^{\ast }$。此外，提出了一种通信减少方法，可以删除无用的连接以提高通信效率。
具体来说，在代理人 $i$ 的角度，利用推断的意图 $g_i^{\ast }$ 来过滤观察 $E_i$ 以生成图节点特征。基于节点特征计算边特征，这些特征进一步转化为概率分布，最后根据概率分布对通信连接进行采样。
消息发送模块主要由三个部分组成： Inferred-goal Filter 推断目标过滤模块、Connection Choice连接选择模块、Communication Reduction (CR)通信减少模块

Inferred-goal Filter 推断目标过滤模块

agent $i$构造的本地图中，智能体$j$的节点特征是通过推断目标$g_{i,j}^{\ast }$过滤的目标特征获得的。
$\delta$是一个概率阈值，文中设置的是0.5。如果 $g_{i,j,q}^{\ast }>\delta$，那么智能体 $i$ 会将目标 $q$ 视为智能体 $j$ 选择的目标。
然后将过滤后的特征 $E_{i,j}^{\prime }={\sum }_{q=1}^m(g_{i,j,q}^{\ast }>\delta )\cdot E_{i,q}$与估计的观察表示${ϵ}_{i,j}$连接起来，形成估计的节点特征 $u_{i,j}=(E_{i,j}^{\prime },{ϵ}_{i,j})$。

Connection Choice连接选择模块

对于一个由n个agent组成的场景，一共有n个有向图$\mathcal{G}=({\mathcal{G}}_1,{\mathcal{G}}_2,...,{\mathcal{G}}_n)$。 ${\mathcal{G}}_i$ 是代理 $i$ 计算的通信连接本地图。${\mathcal{V}}_i=f(u_{i,j})$是节点特征.$f$是节点特征编码器，${\mathcal{E}}_i=\sigma (u_{i,j},u_{i,k})$,$\sigma$是边缘特征编码器。通过在图中传播节点和边的特征来得到聚合后的节点和边的信息。

$h_j$代表聚合后的节点特征，$h_{j,k}$代表聚合后的边的特征，根据最后得到的边的特征$({\mathcal{E}}_{i,j},h_{i,j})$来生成概率分布。表示这个通信的边“剪掉cut”还是“保留retain” $(p_{cut}^{i,j}+p_{retain}^{i,j}=1)$,使用Gumbel-Softmax来采样边是去是留(这是一个离散的值)，这样就可以进行端到端的训练。如果${\mathcal{E}}_{i,j}$最终被保留了，智能体$i$就将$g_{i,j}^{\ast }$发送给$j$。
这里为什么智能体 $i$ 将 $g_{i,j}^{\ast }$ 发送给 $j$，$g_{i,j}^{\ast }$代表的是智能体 $i$ 估计的智能体 $j$ 的意图，我的理解是智能体 $j$ 接收到 智能体 $i$ 对自己的意图的估计，根据别人对自己的意图估计来自适应地调整自己的决策来配合别人的行动。

Communication Reduction (CR)通信减少模块

由于接收者的决策并不总是收到接收的消息的影响，这说明有些通信的连接是冗余的。文中用的方法类似于“消融”，通过观察接收或不接收消息做出的决策之间的差异(实际上就是两个动作分布之间的差别，比如使用KL散度来衡量)。文中具体的方法是这样的，首先观察不通信的情况下得到的他人的意图即动作概率的分布$g_i^{-}$,然后就可以用KL散度来衡量消息的效果(有或者没有这个通信动作的情况下分布的差异)
$$\chi =D_{KL(g_i^{-}||g_i)}$$
。文中设置了一个超参数 $\tau$，如果 $\chi <\tau$说明通不通信都无所谓，因此标记为"cut"，否则标记为"retain",然后消息发送方网络的调整如下二元交叉熵损失：

Decision Maker 决策模块

一旦代理接收到所有消息，它就可以根据其观察、推断他人的意图和接收到的消息来决定自己的目标子目标。因此，特征 ${\eta }_i=(E_i,ma{x}_j{g}_{i,j}^{\ast },{\sum }_s{g}_{s,i}^{\ast }))$ 是actor网络的输入。第二项 $ma{x}_j{g}_{i,j}^{\ast }$ 指的是另一个代理选择目标的最大推断概率。第三项 ${\sum }_s{g}_{s,i}^{\ast }$ 指的是来自其他人的消息的总和，表示其他人推断智能体 $i$ 应该选择的目标。 Actor 根据 ${\eta }_i$ 决定其目标 $g_i$。critic获得全局特征 $({\eta }_j,{\eta }_k,{\eta }_l)$来计算值。低级执行器 ${\pi }_i^L(a_i|o_i,g_i)$ 采取原始动作来完成子目标。

资源链接

论文链接

ToM2C: Target-oriented Multi-agent Communication and Cooperation with Theory of Mind

代码链接

https://github.com/UnrealTracking/ToM2C