【CVPR2024】RCBEVDet: Radar-camera Fusion in Bird’s Eye View for 3D Object Detection

原文链接：https://arxiv.org/abs/2403.16440

简介：为减小成本，实践中往往使用多视角摄像头进行3D目标检测，但仅依赖摄像头难以达到高精度和鲁棒性。本文将毫米波雷达与摄像头结合，提出RCBEVDet，进行BEV下的多模态3D目标检测。首先，设计RadarBEVNet提取雷达BEV特征，包含双分支雷达主干和RCS感知的BEV编码器。前者使用基于点的编码器和基于Transformer的编码器，并使用注射和提取模块进行编码器之间的交互。后者使用RCS作为物体大小的先验，以将点特征分散到BEV。基于可变形注意力机制的交叉注意力多层融合模块包含通道和空间融合层，能自动对齐多模态BEV特征。实验表明，本文的方法可以在NuScenes和VoD数据集上达到SotA性能，且有更快的速度。

0. 概述

如图所示，图像分支包含图像编码器、视图变换和BEV编码器，输出图像BEV特征。

1. RadarBEVNet

传统雷达-摄像头融合的方法主要采用针对激光雷达点云设计的雷达编码器。本文提出RadarBEVNet，进行高效的雷达BEV特征提取。

1.1 双分支雷达主干

包含基于点的主干和基于Transformer的主干。

基于点的主干提取局部特征，其基本结构单元类似PointNet（MLP+最大池化得到全局特征，然后与逐点特征拼接）：

$$f=\text{Concat}[\text{MLP}(f),\text{MaxPool}(\text{MLP}(f))]$$

基于Transformer的主干提取全局特征，其基本结构单元为标准Transformer块（注意力+前馈网络+归一化层）。考虑到自动驾驶场景范围较广，本文提出距离调制的自注意力（DMSA）机制，在早期聚合邻域信息，以促进模型收敛。

具体来说，给定$N$个雷达点的坐标，首先计算逐对距离$D\in {\mathbb{R}}^{N\times N}$，并生成类高斯状的权重图$G$：

$$G_{i,j}=\exp (-D_{i,j}^2/{\sigma }^2)$$

其中$\sigma$为可学习参数，控制类高斯分布的带宽。该权重图会为近距离的位置分配高权重，对应的注意力机制如下：

$$\begin{array}{rl}\text{DMSA}(Q,K,V)=& \text{Softmax}(\frac{Q{K}^T}{\sqrt{d}}+\log G)V\\ =& \text{Softmax}(\frac{Q{K}^T}{\sqrt{d}}-\frac{D^2}{{\sigma }^2})V\end{array}$$

在训练期间，本文将$\beta =1/{\sigma }^2$看作可学习参数，且当$\beta =0$时，DMSA退化为自注意力。多头DMSA的每个头部有不同的${\beta }_i$值：

$$\begin{gathered} \text{MultiHeadDMSA}(Q,K,V)=\text{Concat}[hea{d}_1,\cdots ,hea{d}_H], \\ hea{d}_i=\text{DMSA}(Q_i,K_i,V_i)=\text{Softmax}(\frac{Q_i{K}_i^T}{\sqrt{d_i}}-{\beta }_i{D}^2)V_i \end{gathered}$$

此外，本文还提出基于交叉注意力的注射与提取模块，以进行不同主干的交互。记$f_p^i$与$f_t^i$分别为两个主干第$i$层的输出特征，则在注射阶段，$f_p^i$会作为查询、$f_t^i$作为键与值，将Transformer特征“注射”到点特征中：

$$f_p^i=f_p^i+\gamma \times \text{CrossAttn}(\text{LN}(f_p^i),\text{LN}(f_t^i))$$

其中$\text{LN}$为层归一化，$\gamma$为可学习缩放参数。

类似地，提取操作会使用交叉注意力提取点特征：

$$f_t^i=\text{FFN}(f_t^i+\text{CrossAttn}(\text{LN}(f_t^i),\text{LN}(f_p^i)))$$

1.2 RCS感知的BEV编码器

目前的雷达BEV编码器通常根据坐标将点特征分散到体素空间，并压缩高度得到BEV特征。但这样得到的BEV特征很稀疏。堆叠更多的BEV编码层会导致小物体特征被平滑到背景区域。

本文提出RCS感知的BEV编码器，其中RCS反应了雷达检测某物体的能力。通常，大型物体有更强的雷达波反射，从而有更大的RCS。因此，RCS粗略反映了物体的大小。

本文RCS感知的BEV编码器关键在于RCS感知的分散操作，根据RCS值将一个点分散到多个BEV像素中。

给定某雷达点的坐标$c=(c_x,c_y)$、RCS值$v_{RCS}$、特征$f$和BEV像素坐标$p=(p_x,p_y)$，本文将$f$分散到$p$及其周围$(c_x^2+c_y^2)\times v_{RCS}$距离内的像素上。若某像素被分配了多个特征，则进行求和池化。这样可得到BEV特征$f_{RCS}$。

此外，对每个点，还引入类高斯的BEV权重图：

$$G_{x,y}=\exp (-\frac{(c_x-p_x{)}^2+(c_y-p_y{)}^2}{\frac{1}{3}(c_x^2+c_y^2)\times v_{RCS}})$$

所有点的BEV权重图求取最大值后，可得最终的BEV权重图$G_{RCS}$。RCS感知的BEV特征可按下式获得：

$$f_{RCS}^{\prime }=\text{MLP}(\text{Concat}[f_{RCS},G_{RCS}])$$

最后，该特征与原始BEV特征（应为按常规方案分散点特征得到的BEV特征）拼接，送入BEV编码器中。

2. 交叉注意力多层融合模块

2.1 使用交叉注意力进行多模态特征对齐

由于雷达点云的水平角误差较大，可能导致点落在物体外部，从而导致雷达与图像的BEV特征不对齐。本文使用交叉注意力动态对齐多模态特征。

本文使用可变形交叉注意力来捕捉雷达特征的位置偏差并减小计算。

给定图像和雷达的BEV特征$F_c\in {\mathbb{R}}^{C_c\times H\times W},F_r\in {\mathbb{R}}^{C\times H\times W}$，首先添加位置编码，然后将雷达特征转化为查询$z_{q_r}$和参考点$p_{q_r}$，图像特征视为键与值，进行可变形交叉注意力（图中绿色分支），更新$F_r$：

$$\text{DefromAttn}(z_{q_r},p_{q_r},F_c)=\sum _{m=1}^M{W}_m[\sum _{k=1}^K{A}_{mqk}\cdot W_m^{\prime }{F}_c(p_{q_r}+\Delta p_{mqk})]$$

其中$M$为注意力头部的数量，$K$为采样位置数，$\Delta p_{mqk}$为采样偏移量，$A_{mqk}$为注意力权重，根据$z_{q_r}$和$F_c$计算。

类似地，交换$F_r$与$F_c$，再进行一次可变形交叉注意力，更新$F_c$（图中蓝色分支）。

2.2 通道和空间融合

如图中棕色分支所示。

总结：本文的主要创新在于针对雷达模态的特点，利用RCS值改进了激光雷达点云的特征提取器。