【论文笔记】SparseLIF: High-Performance Sparse LiDAR-Camera Fusion for 3D Object Detection

原文链接：https://arxiv.org/abs/2403.07284

简介：稀疏3D检测器因其无需密集BEV特征表达的低延迟特性受到了广泛关注，但其性能低于密集检测器。本文的SparseLIF是一个完全稀疏的端到端多模态3D目标检测器，包含3个关键设计：（1）透视感知的查询生成（PAQG），利用透视先验生成高质量3D查询；（2）RoI感知的采样（RIAS），通过从各模态采样RoI特征细化先验查询；（3）不确定性感知的融合（UAF），精确量化各模态的不确定性并自适应融合，实现对传感器噪声的鲁棒性。实验表明SparseLIF在NuScenes上能达到最优性能。

0. SparseLIF概述

使用图像主干和FPN提取多视图/多尺度/多帧的图像特征，记为 X c a m = { X c a m v m t } v = 1 , m = 1 , t = 1 V , M , T X_{cam}=\{X_{cam}^{vmt}\}_{v=1,m=1,t=1}^{V,M,T} Xcam​={Xcamvmt​}v=1,m=1,t=1V,M,T​，其中$V,M,T$分别为相机视图数，特征尺度数和时间帧数。同时，使用3D激光雷达主干和FPN提取多尺度激光雷达特征，记为 X l i d = { X l i d r } r = 1 R X_{lid}=\{X_{lid}^r\}_{r=1}^R Xlid​={Xlidr​}r=1R​，其中$R$为激光雷达特征尺度数。

透视感知的查询生成（PAQG）模块使用耦合的2D和单目3D图像检测器，利用透视先验生成高质量3D查询。此后，RoI感知的采样（RIAS）模块会将查询与图像和激光雷达特征交互，提取RoI特征进行细化。不确定性感知的融合（UAF）模块会量化RoI特征的不确定性，并进行多模态特征的自适应融合，用于3D目标检测。

1. 透视感知的查询生成

最近的方法通常使用可学习查询，但学习将与输入无关的查询移动到真值附近较为困难。可视化表明，2D检测对远处和小物体的检测更好，因此本文利用2D检测提供的透视先验生成3D查询。

PAQG中的轻量级透视检测器包括耦合的2D和单目3D子网络，前者预测中心位置$(c_x,c_y)$、置信度分数和类别标签，后者预测不同视图下的深度$d$、旋转角、大小和速度。基于相机外参$E_v$和内参$I_v$，将边界框中心投影到3D空间：
$$c^{3D}=E_v^{-1}{I}_v^{-1}[c_{x}d,c_{y}d,d,1]$$

3D中心$c^{3D}$会与预测大小、旋转角和速度组合得到3D边界框。然后，进行非最大抑制，根据置信度分数选择前$N_k$个边界框，通过交叉注意力，用图像特征初始化查询：
$$q_i=\frac{1}{|\mathcal{V}|}\sum _{v\in \mathcal{V}}\sum _{m=1}^{M}BS(X_{cam}^{vm},P_{cam}^v(c_i^{3D}))$$

其中$P_{cam}^v(c_i^{3D})$将3D中心$c_i^{3D}$投影到视图$v$上，$\mathcal{V}$为有效投影视图数，$BS(\cdot )$表示双线性采样。为考虑被忽视的物体，本身还引入$N_r$个随机初始化的查询框，得到共$N_q=N_k+N_r$个查询提案。

实验表明，PAQG模块能明显提高小物体的远距离物体的检测性能。

2. RoI感知的采样

输入查询 Q = { q i ∈ R C } i = 1 N q Q=\{q_i\in\mathbb R^C\}_{i=1}^{N_q} Q={qi​∈RC}i=1Nq​​，需要采样各模态的RoI特征以进行细化。

激光雷达分支：受可变形注意力启发，本文为每个查询$q_i$采样$K=4$个点以检索激光雷达特征图$X_{lid}$中的RoI特征 { F l i d i k } k = 1 K \{F_{lid}^{ik}\}_{k=1}^K {Flidik​}k=1K​：
$$F_{lid}^{ik}=\sum _{r=1}^{R}BS(X_{lid}^r,P_{lid}(c_i+{\Delta }_{lid}^{irk}))\cdot {\sigma }_{lid}^{irk}$$

其中$c_i$为查询$q_i$的3D中心，$P_{lid}$将中心投影到激光雷达BEV空间。${\Delta }_{lid}^{irk}$和${\sigma }_{lid}^{irk}$分别为由$q_i$预测的采样偏移量和注意力权重。

图像分支：类似地，为每个查询$q_i$采样$K=4$个点以检索图像特征图$X_{cam}$中的RoI特征：
$$F_{cam}^{itk}=\frac{1}{|\mathcal{V}|}\sum _{v\in \mathcal{V}}\sum _{m=1}^{M}BS(X_{cam}^{vmt},P_{cam}^{vt}(c_i+{\Delta }_{cam}^{ivmtk}))\cdot {\sigma }_{cam}^{ivmtk}$$

其中$P_{cam}^{vt}$为3D空间到特征空间的投影函数（进行时间对齐后）。

通道-空间相关性感知的混合：将检索的RoI特征记为$f\in {\mathbb{R}}^{S\times C}$，其中$S=K$（激光雷达）或$S=T\times K$（图像）。

首先基于$q_i$建模通道相关性，增强$f$的通道语义：
$$\begin{gathered} W_c=\text{Linear}(q_i)\in {\mathbb{R}}^{C\times C} \\ {M}_c(f)=\text{ReLU}(\text{LayerNorm}(f{W}_c)) \end{gathered}$$

其中$W_c$为跨时间帧和采样点的通道相关性。随后，建模空间相关性：
$$\begin{gathered} W_s=\text{Linear}(q_i)\in {\mathbb{R}}^{S\times S} \\ {M}_s(f)=\text{ReLU}(\text{LayerNorm}(f^T{W}_s)) \end{gathered}$$

其中$W_s$为跨通道的空间相关性。最后，将特征拉直，并通过线性层聚合。

3. 不确定性感知的融合

给定各模态的RoI特征$F_{cam}$和$F_{lid}$，UAF融合的目标是使模型对传感器失效（如图）具有鲁棒性。

融合可记为：
$$\bar{Q}=f_{UA}(F_{cam},U_{cam},F_{lid},U_{lid})$$

其中 Q ˉ = { q ˉ i ∈ R C } i = 1 N q \bar Q=\{\bar q_i\in\mathbb R^C\}_{i=1}^{N_q} Qˉ​={qˉ​i​∈RC}i=1Nq​​为细化的查询特征，$f_{UA}$为不确定性感知的融合函数。$U_{cam}$和$U_{lid}$为模态的不确定性。

考虑到精确定位的重要性，本文将不确定性 U s , s ∈ { c a m , l i d } U_s,s\in\{cam,lid\} Us​,s∈{cam,lid}定义为预测边界框与真实边界框$B$欧式距离的函数：
$$U_s=1-\exp (-D^{xy}(f_{reg}(F_s),B))$$

其中$f_{reg}$为边界框的回归函数，$D^{xy}$为BEV下的欧式距离。由于真实边界框不可获取，故使用距离预测器，根据RoI特征预测距离，得到：
$$U_s=1-\exp (-f_{dist}(F_s))$$

其中$f_{dist}$为距离预测器（MLP）。

对于不确定性感知的融合函数$f_{UA}$，其为不确定性加权的拼接融合：
$${\bar{q}}_i=FFN(Cat(F_{cam}(1-{\hat{U}}_{cam}),F_{lid}(1-{\hat{U}}_{lid})))$$

这样，UAF量化了各模态的不确定性，指导模型关注更可靠的模态。

实施细节：使用查询去噪策略。
延迟分析：实验表明，本文的检测头部分（包括PAQG、RIAS、UAF模块等）仅占用了很小的时间。