【论文解读】Spatio-Temporal Domain Awareness for Multi-Agent Collaborative Perception（SCOPE））

摘要

与单智能体感知相比，多智能体协同感知作为车辆与万物通信的潜在应用，可以显著提高自动驾驶汽车的感知性能。然而，在这一新兴研究中实现实用的信息共享仍然存在一些挑战。在本文中，我们提出了一种新的协同感知框架SCOPE，它以端到端的方式聚合了道路代理的时空感知特征。具体来说，SCOPE有三个明显的优势:i)它考虑时间上下文的有效语义线索来增强目标代理的当前表示;Ii)聚合来自异构agent的感知关键空间信息，并通过多尺度特征交互克服定位误差;Iii)通过自适应融合范式，基于目标代理的互补贡献，集成了目标代理的多源表示。为了彻底评估SCOPE，我们考虑了三个数据集上协作3D目标检测任务的真实世界和模拟场景。大量的实验表明了我们的方法的优越性和所提出的组件的必要性。项目链接https://ydk122024.github.io/SCOPE/.

引言

• 现有方法总是遵循单帧静态感知模式，存在3D点云数据稀疏性的缺点，并且忽略了时间上下文中有意义的语义线索。当前帧中运动物体的不充分表征可能会限制目标车辆的感知性能。
• 此外，协同感知系统的空间信息聚合也暴露出一些问题。对于协作者共享的消息融合，先前尝试的基于每个代理/位置的融合策略无法处理由于定位错误而导致的异构代理的特征映射不对齐。因此，合作者的误导特征可能导致自我载体(即接收器)对目标位置的误判，从而损害其检测精度。
• 对于自我车辆信息的细化，现有方法依赖于与协作者信息的融合表示来实现检测，放弃了自我车辆的自然感知优势并引入了潜在的噪声。以自我为中心的特征可能包含不受协作主体噪声干扰的局部关键空间信息。

为此，如何有效地打破上述限制成为实现稳健协同感知的首要任务。

基于上述观察结果，我们提出了一种时空感知多智能体协同感知方法scope，以共同应对现有的挑战。

• 针对单帧点云中的数据稀疏性挑战，提出了上下文感知信息聚合方法，对自我智能体的前几帧上下文信息进行聚合。我们采用选择性信息过滤和时空特征集成模块来捕获信息丰富的时间线索和历史上下文语义。
• 针对协作者共享的信息融合挑战，引入信任感知的跨代理协作，保证自我代理从异构代理中聚合互补信息。基于置信度感知的多尺度特征交互，促进了整体沟通，减轻了由于协作者定位错误而导致的特征图不对齐。
• 针对自我主体的多特征融合挑战，设计了基于不同感知贡献的重要性感知自适应融合，灵活融合不同表征的优势。

主要贡献可以概括如下：

• 我们提出了SCOPE，一个用于多智能体协同感知的新框架。该框架促进了agent之间的信息协作和特征融合，实现了合理的性能带宽权衡。对协同检测任务的综合实验表明，SCOPE优于以前最先进的方法。
• 据我们所知，我们是第一个考虑协作感知系统中自我主体的时间背景的人。基于所提出的上下文感知组件，点云的目标帧有效地整合了前帧的历史线索，以捕获有价值的时间信息。
• 我们引入了两个空间信息聚合组件来解决协作异质性和融合表示唯一性的挑战。这些定制组件有效地执行代理之间的多粒度信息交互和自我代理的多源特征细化

方法

Metadata Conversion and Feature Extraction

【Metadata】将不同智能体的数据（如姿态和外参）转换为统一格式，以便在协作过程中使用。

在接收到自我代理（ego agent）广播的元数据(例如，姿势和外部特征)后，协作者投射他们的本地LiDAR点云到自我代理的坐标系统。自我代理之前的点云帧与当前帧同步。每个代理k∈{1，…， K}将投影点云编码为鸟瞰