【论文笔记】Bridging the View Disparity Between Radar and Camera Features for Multi-modal Fusion 3D Object

【论文笔记】Bridging the View Disparity Between Radar and Camera Features for Multi-modal Fusion 3D Object Detection
原文链接：https://ieeexplore.ieee.org/document/10027465

I. 引言

  目前的雷达-图像融合方法主要有三种：结果融合、原始数据融合和特征融合，其中特征融合效果最优。特征融合的主流方法是将雷达投影到图像上，使用复杂规则进行特征提取，但图像采样前视图语义信息，而雷达采样3D几何信息，这种方法忽略了两模态之间的视图差异。
  本文受BEV感知相关工作的启发，将雷达与图像表达在BEV下进行融合；同时，利用“BEV下的雷达点云在边界框边缘处”这一几何约束增强融合性能。
  本文的跨视图特征级融合方法叫RCBEV，其中雷达分支克服雷达稀疏性和噪声提取有效特征；多尺度视图变换器能获取跨视图图像特征；通过两阶段融合方案（点融合与RoI融合）融合特征；最后使用无需锚框的检测头获取3D边界框。

III. 系统结构

  如下图所示。首先从图像提取多尺度特征并估计深度，然后将图像特征提升为棱台特征，从而转化并提取BEV特征。

  此外，针对雷达点云的稀疏性和噪声，本文提出新的方案：对原始雷达数据进行预处理后，积累多帧雷达点云以克服稀疏性，并设计置信度滤波器过滤噪声和虚警；雷达特征提取器分为空间编码器和时间编码器两部分，其中空间编码器处理位置、速度和RCS信息，时间编码器处理多帧之间的特征错位。
  融合模块包括两阶段：首先是雷达特征和图像特征进行点级融合；然后使用雷达生成服从高斯分布的热图，以反映几何约束，与预测的热图进行RoI级别的融合。最后增强热图输入无需锚框的检测头预测3D边界框。

IV. 方法

A. 雷达处理

  专门设计的部分包含三个：（1）数据处理模块，（2）雷达特征提取器，以及（3）物体热图生成器。（1）和（2）的结构如下图所示。

（1）数据处理模块：
  多帧积累。以前向雷达为参考系，将过去帧的雷达点云转换到当前帧下：
$$Z^{\text{ref}}(t)=\text{Trans}(Z^{\text{radar}}(t-k))=T_{\text{ego}(t)}^{\text{ref}(t)}{T}_{\text{global}}^{\text{ego}(t)}{T}_{\text{ego}(t-k)}^{\text{global}}{T}_{\text{radar}}^{\text{ego}(t-k)}{Z}^{\text{radar}}(t-k)$$  噪声过滤：根据点的动态特性${\gamma }_{ds}$、反射强度$\sigma$、来自物体的概率${\gamma }_{vs}$和虚警概率${\gamma }_{fp}$过滤噪声（都是nuScenes数据集提供的数据）。记为
$$CF(Z^{\text{radar}}(t))=Filter(\sigma ,{\gamma }_{vs},{\gamma }_{ds},{\gamma }_{fp})$$  输入网络的雷达数据
$$I^{\text{radar}}(t)=\sum _{k=0}^N\text{Trans}(CF(Z^{\text{radar}}(t-k))$$（2）雷达特征提取器：
  空间编码：输入雷达点云的特征包含位置、补偿后的径向速度以及RCS值。使用高效的VoxelNet或PointPillars的主干网络处理输入，提取特征$F_{SE}^R$。
  时间编码：虽然经过对齐，多帧点云仍可能存在细微的错位，故使用ConvLSTM来细化特征$F_{SE}^R(t-k),k=0,1,\cdots ,N$。
  整个特征提取器可记为：$$\begin{gathered} F_{SE}^R(t-k)=SE(\text{Trans}(CF(Z^{\text{radar}}(t-k)))) \\ {F}_{TE}^R(t)=TE(\text{Concat}(F_{SE}^R(t),F_{SE}^R(t-1),\cdots ,F_{SE}^R(t-N))) \end{gathered}$$

B. 图像处理

  如下图所示，图像处理分为三个部分：图像视图特征提取器，交叉视图特征变换器，BEV特征提取器。

  图像视图特征提取器提取多尺度多视图特征图：$$F_{\text{img}}^I=\text{Neck}(\text{Backbone}(I^{\text{image}}))$$  交叉视图特征变换器：估计深度分布$F_{\text{Depth}}^I$后与图像特征$F_{\text{img}}^I$作外积得到棱台特征$V{F}_{\text{img}}$，然后使用相机参数转换到BEV下：
$$\begin{gathered} F_{\text{Depth}}^I=\text{Softmax}(\text{DepthEstimate}(F_{\text{img}}^I)) \\ V{F}_{\text{img}}=F_{\text{img}}^I\otimes F_{\text{Depth}}^I \\ V{F}_{\text{BEV}}=E(I^{-1}(V{F}_{\text{img}})) \end{gathered}$$其中$E$与$I$分别为相机的外参和内参矩阵。
  BEV特征提取器：使用ResNet和FPN。$$F_{\text{BEV}}^I={\text{BEV}}_{\text{Neck}}(V{F}_{\text{BEV}})$$

C. 融合模块

  如下图所示，融合分两阶段：点级融合与RoI级融合。

  点级融合：首先将图像BEV特征和点云BEV特征进行上下采样以统一分辨率，然后拼接。考虑到不精确的空间变换可能导致视图错位，将融合特征通过卷积。
$$F^{PF}=\text{Conv}(\text{Concat}(\text{Up}(F_{TE}^R),\text{Down}(F_{BEV}^I)))$$  RoI级融合：点级融合的输出会输入卷积层预测各类别的热图$H^{PF}$。多通道雷达热图$H^{\text{radar}}$由$I^{\text{radar}}$使用二维高斯分布生成，生成时考虑原始雷达点云的位置（$x_r,y_r$）、速度($v_x,v_y$)、强度（$\sigma$）和虚警率（${\gamma }_{fp}$）（因此生成的是6通道热图，下式中通道用$a$表示）：
$$H^{\text{radar}}(x,y,a)=\frac{1}{M(a)}\{\begin{array}{cc}exp\left(-\frac{(x-p_x{)}^2+(y-p_y{)}^2}{2\Sigma (a)}\right)& |x-p_x|<3{\Sigma }_x,|y-p_y|<3{\Sigma }_y\\ 0& 否则\end{array}$$ Σ ( a ) = { diag ( max ⁡ ( a r m s , τ ) ) a ∈ { x r , y r , v x , v y } diag ( max ⁡ ( a , τ ) ) a ∈ { σ , γ f p } \Sigma(a)=\left\{\begin{matrix} \textup{diag}(\max(a_{rms},\tau)) & a\in\{x_r,y_r,v_x,v_y\}\\ \textup{diag}(\max(a,\tau)) & a\in\{\sigma,\gamma_{fp}\} \end{matrix}\right. Σ(a)={diag(max(arms​,τ))diag(max(a,τ))​a∈{xr​,yr​,vx​,vy​}a∈{σ,γfp​}​$$M(a)=2\pi |\Sigma (a){|}^{1/2}$$其中下标rms表示均方根，$\tau$为最小高斯半径；$p_x,p_y$为雷达的位置测量。
  得到$H^{PF}$和$H^{\text{radar}}$后，使用乘法融合两个热图后再通过$1\times 1$卷积，得到$H^{RF}$。

D. 检测头设计

  检测头为无需锚框的检测头，由卷积层构成。损失函数分为分类损失和回归损失两部分。
  分类损失为focal损失以平衡前景和背景的数量：真实热图为类似生成的高斯热图$H^{GT}\in [0,1{]}^{\frac{H}{R}\times \frac{W}{R}\times C}$（$C$为类别数），高斯核为$H^{GT}=exp(((x-{\bar{p}}_x{)}^2+(y-{\bar{p}}_y{)}^2)/2{\sigma }_p^2)$。将$H^{RF}$通过卷积层预测$C$通道热图$H^{\text{pred}}$，按下式计算分类损失：
$$L_{cls}=-\frac{1}{N}\sum _{xyc}\log (H^{\text{pred}})(1-H^{\text{pred}}{)}^{\alpha }G(H^{GT})+\log (1-H^{\text{pred}})(H^{\text{pred}}{)}^{\alpha }(1-G(H^{GT}{)}^{\gamma })$$  回归损失：位置偏差${\hat{O}}_p$、尺寸和速度损失为L1损失；对于朝向角损失，使用softmax函数计算；属性损失使用二元交叉熵损失。
$$L_{off}=\frac{1}{N_T}\sum _{k=1}^{N_T}\left|{\hat{O}}_{pk}-(\frac{p_k}{R}-{\tilde{p}}_k)\right|,p=p_x,p_y,p_z$$$$L_{dim}=\frac{1}{N_T}\sum _{k=1}^{N_T}|s_k-{\hat{s}}_k|,s=w,l,h$$$$L_{vel}=\frac{1}{N_T}\sum _{k=1}^{N_T}|v_k-{\hat{v}}_k|,v=v_x,v_y$$$$L_{rot}=\frac{1}{N_T}\sum _{k=1}^{N_T}\left[\text{softmax}({\hat{b}}_k)-\frac{1}{N_{\theta }}\sum _{i=1}^{N_{\theta }}\cos (\theta -b_i-\Delta {\theta }_i)\right]$$$$L_{att}=\frac{1}{N_T}\sum _{k=1}^{N_T}\frac{1}{N_A}\sum _{i=1}^{N_A}-w_i|a_k^i\log {\hat{a}}_k^i+(1-a_k^i)\log (1-{\hat{a}}_k^i)|$$其中$N_T$为训练样本数，$N_{\theta }$为朝向角$\theta$划分的区间数，$b_i$是区间$i$的中心角度，$\Delta {\theta }_i$表示与区间$i$中心的角度差，$N_A$是属性的数量。

V. 实验

C. 总体结果分析

  实验表明，本文的RCBEV方法在没有使用多帧图像的情况下，也能比BEVDet4D有更高的性能。与BEVDet相比，加入雷达数据能使定位精度、尺寸估计精度和速度估计精度大幅提高。与CenterPoint（radar）相比，加入图像数据能大幅提高检测性能，因为仅使用稀疏雷达估计类别很困难。推断速度上，本文的RCBEV仅略慢于BEVDet。
  与其余雷达-相机融合方法相比，RCBEV的性能也是最优的。

D. 特殊情况评估

  对于仅使用雷达的方法，由于雷达更多反映的是物体（特别是金属物体）的几何形状，因此仅在汽车和金属栅栏的检测上有较好的性能。RCBEV通过融合图像数据，能在几乎所有类别上都有很大的性能提升，且能超过仅基于图像的方法。
  对于不同天气条件下的检测性能，仅使用雷达的方法表现最稳定，而对于融合方法和仅使用图像的方法均在夜晚有较大的性能下降。即便如此，RCBEV也比单一模态方法有更高的性能。

E. 消融研究

  模型性能随图像分辨率的增大先增大后减小，这是因为超过合适的大小会给训练过程带来困难。
  使用雷达的速度属性和RCS均能带来性能提升，且前者会减小速度估计误差。
  积累更多帧的雷达数据能进一步提高整体性能，特别是在速度估计上。但时间较短时mAP值能达到峰值。