【论文解读】Who2com: Collaborative Perception via Learnable Handshake Communication

摘要

在本文中，我们提出了协作感知问题，其中机器人可以以可学习的方式将其局部观察与相邻代理的局部观察相结合，以提高感知任务的准确性。与机器人和多智能体强化学习中的现有工作不同，我们将该问题表述为必须以带宽敏感的方式在一组智能体之间共享学习信息，以优化场景理解任务，如语义分割。受网络通信协议的启发，我们提出了一种多阶段握手通信机制，其中神经网络可以学习压缩每个阶段所需的相关信息。具体而言，具有降级传感器数据的目标代理发送压缩请求，其他代理以匹配的分数进行响应，并且目标代理确定与谁连接（即，从谁接收信息）。我们还开发了基于AirSim模拟器的AirSim CP数据集和度量，其中一组空中机器人感知不同的景观，如道路、草地、建筑物等。我们表明，对于语义分割任务，我们的握手通信方法比分散基线显著提高了约20%的准确性，并且与使用四分之一带宽的集中式系统相当。

引言

学习与谁通信，以减少带宽，同时提高准确性。

为了研究准确性和带宽之间的内在权衡，特别是以相对于代理数量有界的方式进行缩放，我们提出了一种受通信网络机制中三方握手启发的三阶段通信机制。我们的方法的三个步骤是：
1）请求：降级的代理广播以其视觉观察为条件的压缩请求；
2）匹配：其他代理计算其自己的视觉观察与接收到的请求之间的学习匹配分数
3）连接：降级的代理选择其中一个代理进行通信，并进一步提高其在下游感知任务中的预测准确性。
整个机制以端到端的方式进行训练，只使用对下游任务的监督（例如，语义分割）。

我们使用AirSim模拟器开发了AirSim- cp数据集和指标

我们是第一个尽我们所能解决在带宽限制下学习沟通的问题。

• 与其他多智能体系统不同，我们收集的数据集AirSim-CP提供了高分辨率和逼真的图像，以便更好地评估具有通信的多智能体感知任务。
• 我们提出了一个端到端通信框架，该框架在没有监督的情况下进行了训练，表明了通信的地面真相代理，并且与分散基线相比具有更高的准确性，并且与带宽的一小部分强集中式基线相比具有更高的准确性。</