Keypoints-Based Deep Feature Fusion for Cooperative Vehicle Detection of Autonomous Driving

任务：研究在车辆之间共享共同感知信息（collective perception messages，CPM）以减少遮挡，从而提高自动驾驶的感知准确性和安全性。
挑战：高精度的数据共享和低通信开销仍然是自动驾驶中要求实时通信的协同车辆检测的瓶颈。 深度特征可以减少需要共享的数据量，同时保持相对较高的数据融合性能。但是，由DNN学到的经过压缩的鸟瞰图（BEV）的深度特征图是非常稀疏的，可以进一步压缩以避免冗余。此外，由于分辨率低，融合这种特征图甚至可能无法预测准确的边界框。

FPV-RCNN：3D关键点深度特征融合框架

融合框架FPV-RCNN是基于3D目标检测器PV-RCNN建立的，以两个CAVs的融合为例：a）两个CAVs分别从自身的点云中提取深度特征；b）选择和编码最重要的特征以进行共享；c）融合共享的特征以进行最终检测。

a) 特征提取：
首先，两个CAVs的原始点云被体素化，然后采用PVRCNN中的基于体素的3D稀疏卷积（3D SPConv.）将原始体素特征8倍下采样为3D深度特征，且最后一个稀疏卷积层的特征被进一步压缩为BEV特征。
b) 特征选择和编码：
1）ego-detection模块采用结构简单的CIA-SSD作为检测头生成边界框提案，为了减少CPM的大小，只选择提案内的特征点：从原始点云中采样一个预定数量N_kpts个均匀分布的稀疏关键点(如步骤1至2的Furthest Points Sampling（FPS）)；然后，再从这些关键点中选择在边界框提案中的点（如步骤2到3）。
2）基于选定的关键点，采用参数相同的PV-RCNN中的Voxel Set Abstraction（VSA）模块，对每个关键点相邻的不同分辨率和抽象水平的体素特征进行聚合。然后对聚合的关键点特征进行编码和压缩以生成CPM，CPM由传感器姿态、边界框提案、关键点的坐标和特征组成。

c) 融合和检测：
1） ego-vehicle 将接收到的所有边界框提案和关键点特征转换到自身坐标系中。
2）对这些转换后的边界框提案进行聚合：

第1-5行：如果两个proposals的IoU高于预定义的阈值（如0.3），它们就被聚类到相同的子集C_k。
第8-13行：为了防止由于BBox方向冲突而导致的错误方向合并，在每个C_k中将每个BBox的方向r_i对准该类中所有BBox的主导方向。

第14-16行：通过BBoxes的预测置信度s_i 来权衡BBox参数，从而将每个类中的BBoxes合并为一个BBox proposal。
最终得到K个合并的proposals，这些proposals被收集在M集中。

3）通过采用PV-RCNN中的基于VSA的RoI-grid pooling模块对来自不同CPM的相邻关键点进行聚合，以实现对合并后的proposals进行细化。

1）将BBox proposal划分为规则的网格，并对每个网格中心的相邻关键点信息进行汇总。
2）汇总的网格特征被拉伸为矢量，通过全连接层产生最终的协同检测结果（包含正proposal和负proposal的二元分类和预测边界框）。
注：这里将使用 dropout取代PV-RCNN中全连接层的批处理标准化（BN），以便可以在训练时将批量大小设置为1。

数据集

使用COMAP仿真协同感知数据集，其由CARLA和SUMO模拟。 在COMAP中，总共有7788帧样本，其中4155帧用于训练，3633帧用于测试。每一帧都包含ego车辆的点云，ego车辆通信范围内40米内的合作车辆的点云，以及每个CAV相应的（GT）BBoxes。在模拟中，所有车辆的GT BBoxes都是已知的，包括那些在有效探测范围之外或在其他平行道路上的车辆。

总结

主要贡献如下：
1）基于3D 目标检测器 PV-RCNN，提出了一种用于协同车辆检测的3D关键点特征融合方案FPV-RCNN，以弥补基于BEV特征融合的方案的低边界框定位精度问题。
2）引入了BBox proposal匹配模块和关键点选择策略，以减少共享深度特征的冗余，从而降低通信开销。
3）所提出的方法不仅以较大的幅度超过了使用BEV特征融合的协同感知的先进方法，而且还显着减少了CPM数据的大小。