【论文解读】Flow-Based Feature Fusion for Vehicle-Infrastructure Cooperative 3D Object Detection

摘要

协同利用自我车辆和基础设施传感器数据可以显著提高自动驾驶感知能力。然而，不确定的时间异步和有限的通信条件会导致融合偏差，限制基础设施数据的利用。为了解决车辆-基础设施协同3D (VIC3D)目标检测中的这些问题，我们提出了一种新的协同检测框架——特征流网络(FFNet)。FFNet是一个基于流的特征融合框架，它使用特征流预测模块来预测未来的特征并补偿异步。FFNet传输的不是从静止图像中提取的特征映射，而是利用顺序基础架构框架的时间一致性传输特征流。此外，我们引入了一种自监督训练方法，使FFNet能够从原始基础结构序列中生成具有特征预测能力的特征流。实验结果表明，我们提出的方法优于现有的协同检测方法，同时只需要原始数据传输成本的1/100左右，并且覆盖了DAIR-V2X数据集上一个模型的所有延迟。代码可在https://github.com/haibao-yu/FFNet-VIC3D上获得。

引言

在本文中，我们专注于解决车辆基础设施协同 3D (VIC3D) 对象检测问题，以增强自动驾驶系统在具有挑战性的交通场景中的安全性和性能，VIC3D问题可以表述为在受限通信带宽下的多传感器检测问题，主要有两个挑战。

• 首先，基础设施数据可以被任何车辆接收，自车传感器捕获的数据和从基础设施设备接收的数据具有不确定差异的异步时间戳。
• 其次，双方设备之间的通信带宽有限。

本文旨在以一种简单而统一的方式解决这些挑战。具体而言，我们提出了特征流网络(FFNet)，这是一种新型的协作检测框架，同时克服了VIC3D目标检测中不确定的时间异步和通信带宽限制问题。
如图3所示，FFNet包括几个步骤，包括从顺序基础架构帧生成特征流，传输压缩的特征流，并将其与egovehicle特征融合以获得检测输出。特征流是FFNet的关键组成部分，作为特征预测功能，可以实现与自我车辆特征的对齐，并消除由时间异步引起的融合错误。

• 为了降低传输成本，同时保留有价值的信息和时间预测能力，我们在传输前使用了注意掩模和量化方法进一步压缩特征流。
• 此外，我们引入了一种自监督方法来训练特征流生成器。该方法包括使用原始基础结构序列构建地面真值特征，从而消除了手动标记的需要。

特征流捕获了从原始基础设施序列中提取的丰富的时间相关性，并展示了在未来任何时间预测基础设施特征的能力，使其非常适合解决VIC3D对象检测中不确定时间异步的挑战。据我们所知，这是首次在多传感器目标检测中利用特征流来解决中间水平的时间错位问题。