Attention Empowered Feature-levelRadar-Camera Fusion for Object Detection——论文阅读

本文将雷达数据与RGB图像进行构造融合，以提高感知性能。对点云形式的雷达数据进行从鸟瞰视角到图像坐标系的域转换预处理。这些与来自相机的RGB图像一起作为我们提出的融合网络的输入，该融合网络独立提取每个传感器的特征。然后融合这些特征来执行联合检测。通过不同雾密度水平的综合雾化图像验证了在雾等不利条件下的鲁棒性。

 

主干网络： YOLOv4-CSP network

雷达输入：

 主要研究：

1）对三次融合进行分开研究，分为3scale，2scale，1scale

发现从2到3跳跃比较大 ，因此，评估了另一个版本的网络，该版本在两个分支(摄像机和雷达)上都只有第5次向下尺度之后才有融合块，称为BigScale，其性能与3Scale网络相同。

 2）增加通道注意力模块提高对雾天检测的鲁棒性

直观上看，信道注意会根据雾强增加雷达特征图的贡献。