【论文笔记】Far3D: Expanding the Horizon for Surround-view 3D Object Detection

原文链接：https://arxiv.org/pdf/2308.09616.pdf

1. 引言

目前的环视图图像3D目标检测方法分为基于密集BEV的方法和基于稀疏查询的方法。前者需要较高的计算量，难以扩展到长距离检测。后者全局固定的查询不能适应动态场景，通常会丢失远距离目标。本文引入3D自适应查询以增强灵活性。

基于稀疏查询的长距离检测主要的挑战是召回率低。由于2D检测的召回率高，可以使用高质量的2D检测先验来改进3D提案，从而实现精确定位和全面覆盖。但直接使用来自2D提案的3D查询有两个问题：（1）深度不确定；（2）当距离增加时3D空间中的偏差增大。这会影响训练稳定性，需要去噪方法来优化。此外，训练会倾向对近距离较为密集的物体进行过拟合，而忽略稀疏分布的远距离物体。

本文使用2D提案和相应的深度，通过空间变换得到3D提案，然后用投影位置嵌入和上下文语义来组成3D自适应查询，在解码器中细化。透视图感知的聚合会用在不同尺度和视图的图像上（对远距离物体需要关注高分辨率特征，而近距离物体反之，才能获得高层特征）。此外，还提出距离调制的3D去噪技术（根据GT构建噪声查询，解码器学习从噪声提案中恢复正提案并拒绝负提案），来缓解查询误差传播和收敛慢的问题。同时，查询去噪能减轻距离分布不平衡的问题。

3. 方法

3.1 概述

给定环视图像 I = { I 1 , ⋯   . I n } I=\{I_1,\cdots.I_n\} I={I1​,⋯.In​}，使用主干和FPN提取多尺度图像特征 F = { F 1 , ⋯   , F n } F=\{F_1,\cdots,F_n\} F={F1​,⋯,Fn​}。使用2D检测器和深度网络获取2D提案和深度，然后筛选出其中可靠性高的并转换到3D空间，得到3D物体查询。

在3D检测器中，将3D自适应查询和3D全局查询输入到Transformer解码层中，进行查询间的自注意力和透视感知的查询-特征聚合。

3.2 自适应查询生成

给定图像特征，输入到2D检测器和轻量级深度估计网络预测2D边界框和离散深度分布，并筛选出分数大于阈值$\tau$的边界框。然后根据深度和相机参数，将边界框的中心投影到3D空间，得到坐标$c_{3d}$。

然后，按下式编码为3D自适应查询：
$$Q_{pos}=PosEmbed(c_{3d})$$$$Q_{sem}=SemEmbed(z_{2d},s_{2d})$$$$Q=Q_{pos}+Q_{sem}$$
其中$z_{2d}$为边界框2D中心处的图像特征，$s_{2d}$为边界框的置信度分数。位置编码为正弦变换+MLP，语义编码为MLP。

最后，将3D自适应查询与初始化的全局查询一起输入到Transformer解码层。

3.3 透视感知的聚合

遥远的小物体需要高分辨率特征以精确定位，而近处的大物体需要高级特征。本文提出透视图感知的聚合，从而在不同的尺度和视图上进行高效的特征交互。

本文首先将图像特征$F$与相机内外参$I,K$组合，并使用squeeze-and-excitation块丰富特征。增强的特征$F^{\prime }$使用3D可变形卷积。对每个查询参考点预测$M$个偏移量，并投影到不同视图和尺度的2D特征图上。

最后根据2D参考点从$F^{\prime }$中采样图像特征，并考虑相对重要性聚合到3D查询中。

3.4 距离调制的3D去噪

具体的方案类似于DN-DETR。

与2D查询不同，不同距离处的3D查询，回归难度往往不同。这一难度差异来自查询密度（近距离物体比远距离物体更容易匹配）与误差传播（2D提案的误差会传播到3D，且随距离的增加而增加）。因此，GT框附近的查询可视为噪声候选对象，而远离GT框的查询视为负样本。通过距离调制的3D去噪，模型会召回潜在的正样本，而拒绝负样本。

本文通过同时添加正负样本，基于GT物体创建噪声查询。为了促进长距离感知学习，根据物体的位置和尺寸添加随机噪声。噪声查询的位置定义如下：
$$\tilde{P}=P_{GT}+\alpha f_p(S_{GT})+(1-\alpha )f_n(P_{GT})$$
其中 α ∈ { 0 , 1 } \alpha\in\{0,1\} α∈{0,1}对应正查询和负查询的生成，$P_{GT}$与$S_{GT}$为GT框的位置和尺寸，$f_p$与$f_n$为正负样本编码位置感知的噪声。

对正样本，$f_p(S_{GT})$为3D尺寸的线性函数（带随机变量），这个GT框内的约束用于保证与周围相邻的边界框区分开。对负样本，偏移量与位置相关，有不同的实施方案。此外，对每个GT框会生成多组样本以增强查询多样性，每一组包含一个正样本和$K$个负样本。

4. 实验

4.3 主要结果

Argoverse 2数据集：本文的方法能超过基于稀疏查询的方法。基于BEV的方法性能较差，这可能是由于深度估计的难度太大。部分模型不能收敛，可能也是缺乏精确的深度估计。总的来说，长距离检测的收敛问题更加严重，本文的3D去噪能起关键作用。

此外，本文的方法能超过激光雷达早期方法CenterPoint等。激光雷达方法的定位误差较小，但环视图方法的朝向估计更准确。

4.4 消融研究 & 分析

自适应查询：在StreamPETR的基础上添加自适应查询，能带来性能提升。可视化表明，从自适应查询得到的预测覆盖了更大的范围。

透视感知的聚合：进一步增加透视感知的聚合，能提高性能。

距离调制的3D去噪：通过惩罚负样本，减少了错误提案的出现；通过考虑物体距离，提高了定位精度。实验表明$f_n(\cdot )=\log (\cdot )$时能达到最优效果。

全局查询的作用：全局查询与自适应查询互补，当缺少全局查询时，StreamPETR收敛困难。全局查询增多，可以提高性能。

6. 补充材料

基于BEV的方法SOLO-Fusion在即使有NMS的情况下仍然产生了大量的冗余预测，原因可能是检测头有限的感受野难以处理大的检测范围。

自适应查询的统计数据：使用与自适应查询的平均数量相同的额外全局查询替换自适应查询，会导致性能下降。

Far3D的更多细节：（1）训练的初期，使用真实深度生成3D自适应查询，训练稳定后改用预测查询。（2）本文使用多尺度特征图与查询交互。与手工根据距离选择合适尺度的特征图相比，用网络估计的方法效果相近。