RadSegNet: A Reliable Approach to Radar Camera Fusion 论文笔记

原文链接：https://arxiv.org/abs/2208.03849

1.引言

        相机有丰富的纹理和语义信息，但在远距离、遮挡和极端天气条件下会失效；雷达能提供全天候可靠的、长距离的无遮挡检测，但因其缺少丰富的纹理和语义信息，识别物体困难。

        早期方法将雷达点云投影到图像视图，但这样不能解决物体遮挡；或是分别提取图像特征和雷达BEV特征后在物体层面融合，但这种同时特征提取会导致某一模态失效时整个模型失效。本文采用独立特征提取思想，在雷达BEV表达下进行检测，并独立提取图像的语义特征。

        为将图像语义信息传播到雷达，本文提出语义-点-网格（SPG）表达，从相机提取信息到雷达，然后在增强雷达数据上检测，从而实现了独立特征提取。

3.雷达入门

        雷达和激光雷达一样，都使用飞行时间（ToF）反射分析来生成点云。原始雷达数据是密集的，但包含大量背景热噪声和多路径噪声，通常使用恒定虚警率（CFAR）以得到稀疏点云。这样导致雷达点云中的物体边缘不如激光雷达清晰，使得从雷达中学习基于形状的特征来区别感兴趣物体和背景很困难。

        但由于波长更长，雷达有更远的检测距离，且可以检测遮挡物体（通过地面反射）以及可全天候工作。

4.方法

4.1 BEV输入表达

        由于在前视图中使用局部操作如2D卷积会使不同深度的物体被同一卷积核处理，性能可能受到限制；本文考虑在BEV下表达输入，因在BEV下无遮挡。

        BEV占用网格：将雷达点云压缩高度，并离散化为占用网格，即若网格内有雷达点则为1，否则为0。该操作以结构化格式保留了雷达点的空间关系。

        雷达点特征：BEV占用网格的离散化空间丢失了细化边界框所需的有用信息，因此为每个网格附加上雷达点特征，包含坐标、多普勒和强度信息，得到最终的雷达表达：

其中为占用值，和为多普勒和强度信息，和为平均深度和水平坐标；高度被离散为若干区间得到高度直方图，对应若干通道；表示网格内的点数。

4.2 与相机数据融合

        多模态同时特征提取可以解决图像缺少深度信息的问题，但也会导致模型因图像数据不可靠而性能下降。

        本文提出SPG编码独立地从图像提取信息，即提取图像纹理和语义信息与雷达组合。

4.3 语义-点-网格特征编码

        图像语义特征：使用预训练的鲁棒语义分割网络来得到语义掩膜。

        将语义添加到SPG：如下图所示。为每个物体类别建立一张与雷达BEV相同大小的图，作为额外的语义特征通道。每个网格的值是通过将雷达点投影到图像上，取最近像素的语义特征得到的（对于网格内有多个点的情况，对所有特征取平均）。该操作可以减少检测中的FP。

        该操作不会过滤掉任何雷达点，以更好的利用雷达模态信息；图像的纹理和高分辨率特征被浓缩为语义特征，可以辅助雷达的鲁棒检测。

4.4 在SPG特征上进行边界框预测

        所有BEV特征被输入到深度神经网络进行特征提取和边界框预测。主干是带跳跃连接的编码器-解码器结构，通过下采样和上采样融合了多尺度特征。

        使用基于锚框的检测头（分类头/focal损失+回归头/SmoothL1损失）。

5.实施

        训练细节：锚框大小由数据集平均物体尺寸得到。使用IoU区分正负锚框，仅正锚框用于计算损失。

6.Astyx数据集上的评估

6.1 BEV边界框预测

        前视图融合的方法性能最差；BEV融合方法在长距离或遮挡下的检测更好。本文的独立特征提取比同时特征提取有更好的性能，特别是对于遮挡物体而言。

6.2 雷达与激光雷达的性能比较

        实验表明，使用雷达的方法无论是在单一模态还是与图像融合情况下均比激光雷达方法更优；在仅使用雷达的情况下，RadSegNet的性能也比PointPillars高许多（激光雷达则仅有微小提升）。

        这些结果都是由于雷达的长距离无遮挡感知特性以及SPG对雷达的编码能力。

6.3 在对抗性相机场景中的性能

        在晴朗天气数据下训练，在极端天气增广数据上实验，RadSegNet比SotA有更低的性能下降。这说明本文方法能够独立提取各模态特征。

6.4 消融研究

        SPG编码的每个通道均能带来性能提升，其中语义特征能带来最显著的性能提升。

7.在RADIATE数据集上的评估

        实施细节：RADIATE提供的是雷达的强度图且无高度信息，本文使用CFAR得到雷达点云，并使用传感器高度作为点的高度。

7.1 在晴朗/极端天气下的性能

        本文方法比SotA有更好的性能，且用晴朗+极端天气数据训练比仅用晴朗数据训练，在极端天气数据上评估的性能高出一倍以上，这说明：

1. 晴朗天气数据和极端天气数据之间存在domain gap；

2. RadSegNet的独立特征提取使得在有极端天气监督时，能有比SotA更高的可靠性。

        此外，在不同数据集上的高性能表明本文方法适用于不同雷达类型。

8.讨论

        本文方法在图像失效时会下降到雷达单一模态的性能；可以进一步在性能出现较大下降时关闭相机分支。

        雷达数据在极端天气下的变化就是噪声增多，导致检测距离下降。可以通过使用更高的发射功率，或是在极端天气数据下进行模型微调来解决。

补充材料

B.激光雷达与雷达性能比较

        激光雷达+相机融合方法比雷达+相机融合方法在近距离有更高的检测性能，但随着距离增加性能下降，这是由于点云变得稀疏且遮挡问题严重。

C.极端天气实施细节

        使用imgaug库中的数据增广方法模拟极端天气。实验结果表明雪天对性能的影响最小，雾天其次，影响最大的是雨天。

E.结构细节

        网络结构如下图所示，为U-Net风格的结构。

蓝色虚线框内的为编码器，橙色虚线框内的为解码器，绿色虚线框内的为检测头