【CVPR 2024】Towards Robust 3D Object Detection with LiDAR and 4D Radar Fusion in Various Weather Cond

Towards Robust 3D Object Detection with LiDAR and 4D Radar Fusion in Various Weather Conditions
原文链接：https://openaccess.thecvf.com/content/CVPR2024/papers/Chae_Towards_Robust_3D_Object_Detection_with_LiDAR_and_4D_Radar_CVPR_2024_paper.pdf

简介：在各种天气下进行3D目标检测是安全自动驾驶的关键。目前的方法关注使用对天气不敏感的4D雷达，或与其它模态结合，但融合时没有考虑传感器特性和天气情况，且丢失部分对检测重要的高度信息。本文提出3D-LRF模块，考虑了激光雷达和4D雷达在3D空间的不同模式，并基于3D空间关系融合特征。此外，还提出以天气为条件的雷达流门控网络，根据天气情况控制融合信息流。实验表面本文方法能在各种天气条件下均达到SotA水平。

1. 概述

本文以激光雷达点云$L\in {\mathbb{R}}^{N_0\times 3}$、4D雷达点云$R\in {\mathbb{R}}^{M_0\times 3}$和图像$I\in {\mathbb{R}}^{H\times W\times 3}$为输入。首先使用输入层将激光雷达和4D雷达点云映射到高维空间，然后3D稀疏卷积用于提取3D信息，得到体素特征$L_l\in {\mathbb{R}}^{N_l\times C_l}$和$R_l\in {\mathbb{R}}^{M_l\times C_l}$（$l$为尺度序号）。使用3D-LRF模块融合得到$F_l\in {\mathbb{R}}^{N_l\times C_l}$。

图像使用预训练的2D卷积网络，用于天气分类。使用以天气为条件的图像特征$I_w\in {\mathbb{R}}^{1\times C_l}$、$L_l$与$R_l$，WRGNet通过门控控制信息从4D毫米波雷达流向激光雷达，得到增强激光雷达特征${\hat{L}}_l\in {\mathbb{R}}^{N_l\times C_l}$。

${\hat{L}}_l$与$R_l$会作为下一尺度的输入；同时，${\hat{L}}_l$与$L_l$会通过BEV编码器进行压缩。拼接多尺度特征后，检测头输出3D检测结果。

2. 3D激光雷达和4D雷达融合

对给定的激光雷达体素特征，首先找到半径$r_l$内最近的$K_l$个雷达体素特征，组成$V_l\in {\mathbb{R}}^{N_l\times K_l\times C_l}$。其中

$$K_l=\lfloor \frac{64}{2^{l-1}}\rfloor ,r_l=\lfloor \frac{8}{2^{l-1}}\rfloor$$

3D-LRF模块：激光雷达能在常规条件下提供精确的3D信息，但在极端天气下易受噪声影响；雷达则对天气有鲁棒性，但其检测的位置精度较低。因此，通过雷达来确定激光雷达点是噪声还是实际物体，是可能的。

本文首先使用非空激光雷达体素$L_l$作为查询，$V_l$作为键，计算激活关系（注意力图）：

$$attn((L_l{)}_i,(V_l{)}_i)=\text{softmax}((L_l{)}_i(V_l{)}_i^T)$$

其中$(\cdot {)}_i$为第$i$个非空体素。若一个激光雷达非空体素周围有多个非空雷达体素（如下图情况(b)），注意力值会用于增强$(L_l{)}_i$；否则（如下图情况(a)），会用于抑制$(L_l{)}_i$。

注意力图会与（用于雷达值特征提取的）值函数$w_l^v(\cdot )$相乘，获取融合特征：

$$(F_l{)}_i=attn((L_l{)}_i,(V_l{)}_i)w_l^v(V_l)$$

3. 以天气为条件的雷达流门控

本文将$F_l$与$L_l$融合得到${\hat{L}}_l$，并送入$l+1$层。同时，${\hat{L}}_l$与$L_l$会被送入不同的BEV编码器，获取BEV特征${\hat{B}}_l$和$B_l$。

直接的求和融合可能导致在常规天气下的性能下降，因此本文提出根据天气调整雷达的信息流。本文使用预训练的图像天气分类器提供的图像特征$I_l$，因为图像受到天气的影响最大，不利于3D检测，但容易判断天气情况。

图像特征会用于以天气为条件的雷达流门控网络（WRGNet），生成门控特征$G_l$，控制$F_l$到$L_l$的信息流。

WRGNet：如上图所示，给定预训练图像特征$I_l$，本文首先将其广播并与$V_l$拼接，然后使用门控层$w_l^g(\cdot )$和全局均值池化（GAP）获取门控特征：

$$G_l=GAP(w_l^g([V_l,\text{Broadcast}(I_l)]))$$

然后按照下式融合$L_l$与$V_l$：

$${\hat{L}}_l=L_l+G_l\otimes F_l$$

其中$\otimes$表示按元素乘法。这样，可平衡模型在不同天气情况下的性能。

4. BEV编码器和检测头

BEV编码器包括3D稀疏卷积、密集化和2D转置卷积。其中2D转置卷积用于保证各尺度特征有相同大小。

拼接各尺度BEV特征得到$B\in {\mathbb{R}}^{H_d\times W_d\times 6D}$后，送入检测头预测每个网格的分类和回归（中心点、大小和旋转）结果。

分类损失使用focal损失，回归损失使用SmoothL1损失。

总结：本文在实验部分称自己的方法为L+4DR融合，但该方法离不开图像数据。可进一步考虑利用图像数据的信息提高性能。