【论文解读】When2com: Multi-Agent Perception via Communication Graph Grouping

摘要

虽然单智能体感知已经取得了重大进展，但由于覆盖范围和鲁棒性等优点，许多应用需要多个传感智能体和跨智能体通信。因此，开发以分布式和带宽高效的方式支持多智能体协作感知的框架至关重要。在本文中，我们解决了协作感知问题，其中一个代理需要执行感知任务，并且可以与同一任务中的其他代理通信和共享信息。具体来说，我们通过学习构建沟通小组和决定何时沟通，提出了一个沟通框架。我们证明了我们的框架在两个不同感知任务上的可推广性，并表明它在保持卓越性能的同时显著降低了通信带宽

引言

由于所有信息都是广播的，所以没有根据需要来决定何时进行通信。当局部观测足以用于预测时，代理不需要消耗带宽。当其他代理发送的消息降级或不相关时，通信可能会对感知任务不利。
我们特别将这个问题视为学习构建通信组（即，每个代理决定传输什么以及与哪个代理通信），并决定何时进行通信，而无需在训练期间对这些决定进行明确监督。
我们解决了尚未开发的协作感知领域，这是感知，多智能体系统和通信的交叉点。

• 我们提出了一个统一的框架，学习如何构建通信组和何时进行通信。它在训练过程中不需要地面真值通信标签，并且可以在推理过程中动态减少带宽。
• 我们的模型可以推广到几个下游任务，我们通过严格的实验表明，与之前研究学习沟通的工作相比，它可以表现得更好
• 我们提供了一个协作的多智能体语义分割数据集AirSim-MAP，其中每个智能体都有自己的深度、姿态、RBG图像和语义分割掩码。该数据集允许研究人员进一步研究多智能体感知的解决方案。

方法

我们