【论文解读】Who2com: Collaborative Perception via Learnable Handshake Communication

摘要

在本文中，我们提出了协作感知问题，其中机器人可以以可学习的方式将其局部观察与相邻代理的局部观察相结合，以提高感知任务的准确性。与机器人和多智能体强化学习中的现有工作不同，我们将该问题表述为必须以带宽敏感的方式在一组智能体之间共享学习信息，以优化场景理解任务，如语义分割。受网络通信协议的启发，我们提出了一种多阶段握手通信机制，其中神经网络可以学习压缩每个阶段所需的相关信息。具体而言，具有降级传感器数据的目标代理发送压缩请求，其他代理以匹配的分数进行响应，并且目标代理确定与谁连接（即，从谁接收信息）。我们还开发了基于AirSim模拟器的AirSim CP数据集和度量，其中一组空中机器人感知不同的景观，如道路、草地、建筑物等。我们表明，对于语义分割任务，我们的握手通信方法比分散基线显著提高了约20%的准确性，并且与使用四分之一带宽的集中式系统相当。

引言

学习与谁通信，以减少带宽，同时提高准确性。

为了研究准确性和带宽之间的内在权衡，特别是以相对于代理数量有界的方式进行缩放，我们提出了一种受通信网络机制中三方握手启发的三阶段通信机制。我们的方法的三个步骤是：
1）请求：降级的代理广播以其视觉观察为条件的压缩请求；
2）匹配：其他代理计算其自己的视觉观察与接收到的请求之间的学习匹配分数
3）连接：降级的代理选择其中一个代理进行通信，并进一步提高其在下游感知任务中的预测准确性。
整个机制以端到端的方式进行训练，只使用对下游任务的监督（例如，语义分割）。

我们使用AirSim模拟器开发了AirSim- cp数据集和指标

我们是第一个尽我们所能解决在带宽限制下学习沟通的问题。

• 与其他多智能体系统不同，我们收集的数据集AirSim-CP提供了高分辨率和逼真的图像，以便更好地评估具有通信的多智能体感知任务。
• 我们提出了一个端到端通信框架，该框架在没有监督的情况下进行了训练，表明了通信的地面真相代理，并且与分散基线相比具有更高的准确性，并且与带宽的一小部分强集中式基线相比具有更高的准确性。

方法

我们的目标是推导出一个分布式和信息融合的框架，它能够
(1)最大化目标代理的下游感知任务的预测精度;
(2)最小化传输过程中使用的带宽。

我们的通信机制包括三个主要步骤:请求、匹配和连接。具体来说，降级代理（Degraded agent）首先将其请求消息μ j∈Rm广播给相邻的普通代理，然后普通代理计算其密钥κi∈Rk与请求消息之间的匹配分数s ji。一旦正常代理将其匹配分数返回给降级代理，降级代理将根据这些匹配分数进一步选择最佳的n个代理进行连接(即接收信息)。
【Degraded agent】 是指在多智能体系统中，由于某种原因导致的信息质量下降的智能体。这些智能体可能由于传感器故障、通信干扰或其他因素而无法获取准确的信息。在多智能体协作任务中，这些降级智能体可能会影响整个系统的性能，因为它们无法为其他智能体提供有用的信息。为了解决这个问题，研究人员提出了一种学习通信模型，通过为每个智能体建立通信组（即选择与谁通信以及何时通信）来降低带宽消耗并提高感知任务的性能。

实验

AirSim-CP Dataset

实验设置

为了获得真实轨迹下的感知数据，无人机执行预先设定的航点跟随和多智能体随机探索任务。然后我们考虑了四种实验设置:
(1)隐藏目标视图(航路点跟踪轨迹)，
(2-3)准确或不准确的姿势(航路点跟踪轨迹)，
(4)准确的姿势(随机探索轨迹)。
每次设置我们收集大约10-20k的图像，大约60%/20%/20%训练/val/测试分割。在所有情况下，都存在降级的目标代理。我们通过应用随机大小(从1到100)的高斯模糊滤波器和高斯噪声来干扰目标代理的视图。当指定时，深度和姿态信息用于将普通代理的视图扭曲到目标视图。
在优化方面，我们使用ResNet18作为我们的特征主干，并使用Adam优化器以学习率10−5训练了20万次迭代

• 隐藏目标视图与多代理航路点跟踪:
• 代理被要求在路径点之间导航，但是在执行语义分割任务时，我们用目标视图的未降级版本替换了一个普通代理，而不是所有相邻代理。该任务测试了基线和提出的方法是否能够帮助目标智能体找到隐藏在相邻智能体中的ground-truth目标视图。因此，这个实验可以被视为对通信的健全检查。请注意，我们不使用任何3D信息来扭曲正常视图到目标视图。本案例的动机是从协同感知任务的研究中去除几何翘曲和图像错位的混淆(这对语义分割任务很重要)。我们的重点是确保在带宽有限的情况下，通信能够有效和准确。因此，我们只能从这个案例中直接评估沟通的有效性。
• 多智能体路径点的精确姿态:
• 与之前的设置类似，五架无人机联合执行航路点。不同的是，目标代理的视场 (FOV) 仅与正常代理的某些子集部分重叠。该案例旨在测试所提出的方法是否可以选择具有部分重叠 FOV 的正常代理，以帮助下游感知任务。为了保持图像对齐以获得更好的分割预测，我们使用来自每个正常代理视图的深度图的 3D 信息和到目标视图的准确相对位姿变换来扭曲正常代理观察的像素到目标视图。请注意，深度图不必传输(扭曲是在每个代理上本地完成的)，但我们在所使用的带宽中包含了目标姿势与其他代理的传输，尽管它很小。
• 遵循多智能体航路点的不准确姿势。
• 为了进一步使我们的实验设置更加真实，我们在代理的位置添加噪声。这导致扭曲的图像与目标视图没有很好地对齐。
• 多智能体随机探索的准确姿势.
• 我们还研究了多智能体随机探索过程中的协作感知，其中智能体接近目标位置、分散和漂移。由于代理单独探索环境，代理的相对位置和重叠视场频繁变化。

我们考虑以下方法进行比较：

• Single Normal（上限）和Single degraded（下限）：模型分别使用目标代理的单个非退化和退化图像进行训练。•
• CatAll（集中式）：该模型使用退化代理和正常代理所有特征的串联作为语义分割的输入。
• Attention（集中式）：注意力机制权重和求和特征图，而不是 CatAll 方法的串联。
• 压缩（集中式）：压缩模型应用两个额外的卷积层，并以 25% 的速率对所有观察结果进行统一压缩，连接用于组合它们。请注意，我们当然可以用更复杂的压缩编码器替换我们的图像编码器，以进一步提高压缩率 。
• 随机选择（分布式）：不是学习选择要与之通信的代理，而是选择来自随机正常代理的特征图。
• Ours（分布式）：我们将我们提出的方法表示为我们的消息（我们的 w/ msg），以及另一种变体，其中消息请求 μ j 设置为常数向量，以检查消息请求是否是必不可少的。值得注意的是，我们在训练期间不使用任何指示最佳代理的标签。

CatAll和Attention都要求将正常代理的所有特征图发送到降级代理。集中式基线的带宽与系统中代理的数量成线性比例，而随机选择和我们自己需要传输单个图像特征图。

评估指标

为了评估和分析模型的有效性，我们使用
1)总体精度来衡量语义分割的性能，
2)每帧kb (kbpf)来衡量带宽使用(BW)，以检查通信和选择的能力。
此外，为了更好地对有限带宽下协同感知任务的性能进行基准测试，我们引入了定义为的带宽改进分数(bandwidth improvement Score, BIS)

其中，δ是所检测方法的总体精度，δ-是单个退化模型的总体精度(即总体精度的下界)，δ^是单个正常模型的总体精度(即总体精度的上界)，ω是所检测方法的带宽使用(以每帧mb为单位)。BIS分数被定义为总体准确度相对于带宽使用的改善比率。更小的带宽使用和总体准确性的更大改进导致更高的分数。

不同(a)Message和(b)Key大小的消融研究。在隐藏目标视图中，我们将Key的大小从4更改为1024，并将Message的大小从1更改为64。请注意，我们在不同的Message分析中使用大小为8的key，而大小为1024的Message用于Key大小分析。在没有key的情况下，模型的选择准确率为25.52%，整体准确率为61.4%，我们使用(a)的key大小为1024，(b)的Message大小为8。
【在这篇论文中，message 和 key 表示什么？】：

• Message：在三阶段握手通信机制中，退化代理首先将其观察结果压缩成一个低维度的消息（µ j ∈ R m ），并将其广播给相邻的正常代理。这个消息包含了退化代理的局部观察信息，用于与其他代理进行通信。

• Key：每个正常代理根据自己的观察结果生成一个匹配关键字（κ i ∈ R k ），用于与退化代理的消息进行匹配。这个关键字与消息一起使用，帮助退化代理选择与哪个代理进行通信。

结论

在本文中，我们提出了协作感知问题，其中智能体可以将其局部观察与其他智能体的局部观察相结合，以提高场景理解任务的性能。受网络通信文献的启发，我们提出了一种握手通信机制，网络可以通过该机制学习压缩表示。我们方法的关键是，我们将消息、密钥和值元素解耦，以支持不对称压缩，从而节省带宽。我们引入了AirSim CP数据集和基准测试指标来评估我们的方法，并表明我们的方法能够有效地组合来自相邻代理的信息，以使用比集中式方法明显更少的带宽来提高准确性。