（阅读笔记）CoFF: Cooperative Spatial Feature Fusion for 3D Object Detection on Autonomous Vehicles

动机和贡献

1. 车辆合作感知可以扩大单个车辆的感知视野和增强感知能力。
2. 直接共享原始点云数据产生的通信量，在当下的网络通信条件下是不实际的。
3. 相比于原始点云共享和融合，体素特征（或空间特征）融合可以达到相近的检测效果，且通信量较小。
4. 点云特征融合工作（F-Cooper）忽略了待融合特征图之间的语义信息差异，直接采用maxout提取典型特征是不合适的。F-Cooper框架在融合目标检测精度上还有提升的空间，且对于远距离和遮挡的目标检测效果不好。
5. 在CoFF中，提出了一种动态的 information based spatial feature fusion方法，根据待融合的特征图中的特征值所含新语义信息的多少，对融合特征图按比例比例进行加权；提出一种线性的feature enhancement方法，扩大代表目标（包含远距离目标和被遮挡的目标）的特征值，保持其他部分（例如背景）的特征值不变，即扩大代表目标和代表背景的特征之间的差异。

F-Cooper融合特征图的检测结果缺陷示例

主要表现为融合（比较）函数maxout的缺点。

对于同一区域（蓝色矩形框），由于接收车辆距离目标相对较远或者中间有障碍物阻挡，探测到目标的雷达信号较弱且稀疏，生成的弱特征在目标检测过程中会导致检测不到的情况；另一方面，发送车辆距离目标较近，生成的强特征可以很好地检测出目标；然而，当两个车辆的特征图进行融合时，接收车辆特征图的某些特征值可能大于发送车辆特征图中的某些值，若使用maxout进行特征融合（保留了两个特征图对应位置的较大值），则发送车辆的某些特征将被忽略，从而导致融合后的特征图（图e）不能很好地综合两台车辆的检测效果。

CoFF

公式1中，receiver只关注它自己的感知视野，调整重叠区域特征（来自sender）的权重并融合，不重叠区域的特征保持不变；然后在第二个阶段线性增强特征。

Information-based Spatial Feature Fusion

F1表示接收车辆的特征图，F2表示发送车辆的特征图，为了减少接收车辆特征图中弱特征带来的负面影响，避免发送车辆的强特征不被淹没，因此增加发送车辆特征图的权重。
权重X用来衡量发送车辆的特征图对接收车辆贡献的新语义信息的多少。

发送车辆和接收车辆的特征图重叠区域内的特征是相似的，因为它们是由相同的物理区域生成的。

1. 在F1和F2的重叠区域内，特征距离（对应特征的欧式距离之和，即$||F1-F2|{|}_2$）越大，则表示F2提供的新语义信息越多；
2. F1和F2的重叠区域越大(W×H)，说明发送车辆和接收车辆之间的物理距离越近，F2提供的新语义信息就越少。（其中$S=||F1-F2|{|}_2/(W\times H)$）
3. 重叠区域与覆盖区域之比(即IoU，$A_0/A$)越大，也表示两个特征图重叠程度越高（探测的范围越相似，也就是距离越近），F2提供的新语义信息就越少。

两个影响因素：两台车辆检测范围的相似程度；相同检测范围内特征的相似程度。
上述公式中的常数是通过实验确定的。

Feature Enhancement

首先，存在一个二分类器，可以分离出目标（包含远距离目标和被遮挡的目标）特征和背景特征；
然后，$F_i$表示融合后的特征图，将其线性增强；由于背景特征总是为0，乘上任何数也不会发生变化，因此该特征增强方法只增大了目标特征值，背景特征值没有变化，即扩大了目标特征值和背景特征值之间的差异，使得在后续目标检测中（RPN）可以提高目标被检概率。

增强参数Y需要一定的主观经验。
点云beam越稠密（点云数据质量越高），则特征需要增强的幅度越低，Y值越小。
交通拥挤时，即遮挡物多时，这时检测目标反射的信号较弱，其目标特征需要增强，Y值较大。
为了避免特征过分增强，即使得背景特征也被模型认定为目标，通常预设$Y\le 5$。