Far3D：直接干到150m，视觉3D目标检测新思路（AAAI2024）

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

>>点击进入→自动驾驶之心【3D目标检测】技术交流群  

论文作者 | 自动驾驶Daily

编辑 | 自动驾驶之心

近来在 Arxiv 读到一篇纯视觉环视感知的新工作，它延续了 PETR 系列方法，主要关注如何解决纯视觉感知的远距离目标检测问题，将感知范围扩大到150m。文章方法和结果有相当的借鉴意义，所以试着解读一下。

原标题：Far3D: Expanding the Horizon for Surround-view 3D Object Detection
论文链接：https://arxiv.org/abs/2308.09616
作者单位：北京理工大学 & 旷视科技

任务背景

三维物体检测在理解自动驾驶的三维场景方面发挥着重要作用，其目的是对自车周围的物体进行精确定位和分类。纯视觉环视感知方法具有成本低、适用性广等优点，已取得显著进展。然而，它们大多侧重于近距离感知（例如，nuScenes的感知距离约为 50 米），对远距离探测领域的探索较少。检测远距离物体对于实际驾驶中保持安全距离至关重要，尤其是在高速或复杂路况下。

近来，从环视图像中进行三维物体检测取得了显著进展，其部署成本较低。然而，大多数研究主要集中在近距离感知范围，对远距离检测的研究较少。将现有方法直接扩展到覆盖长距离会面临计算成本高、收敛性不稳定等挑战。为了解决这些局限性，本文提出了一种新的基于稀疏查询的框架，称为 Far3D。

论文思路

现有的环视感知方法根据中间表征可大致分为两类：基于 BEV 表征和基于稀疏 query 表征的方法。基于 BEV 表征的方法，由于其密集的 BEV 特征计算，计算量非常大，难以扩展到远距离场景。而基于稀疏query表征的方法，会从训练数据中学习到全局 3D query，计算量会小许多，且扩展性较强。但它也有弱点，虽然可以避免 query 数目的平方增长，但全局固定 query 不易适应动态场景，在远距离检测中通常会遗漏目标。

图1：Argoverse 2 数据集上，3D 检测和 2D 检测的性能对比。

在远距离检测中，基于稀疏 query 表征的方法有两个主要挑战。

1. 首先是召回性能较差。由于 query 在 3D 空间分布的稀疏性，在远距离范围只能产生少量匹配的 positive query。如上图所示，3D 检测的召回率较低，而现有 2D 检测的召回率要高得多，两者之间存在明显的性能差距。因此，利用高质量的 2D 物体先验来改进 3D query 是一种很有潜力的方法，它有利于实现物体的精确定位和全面覆盖。

2. 其次，直接引入 2D 检测结果来帮助 3D 检测会面临误差传播的问题。如下图所示，两种主要来源是 1) 由于深度预测不准的物体定位误差；2) 随着距离的增大，视锥变换中的 3D 位置误差也会增大。这些 noisy query 会影响训练的稳定性，需要有效的去噪方法来优化。此外，在训练过程中，模型会表现出对密集的近距离物体过度拟合的倾向，而忽略稀疏分布的远距离物体。

为了解决上述问题，本文做了以下设计：

1. 除了从数据集中学到的 3D global query 外，还引入了由 2D 检测结果生成的 3D adaptive query。具体地，首先利用 2D 检测器和深度预测网络得到 2D 框和对应深度，再通过空间变换投射到 3D 空间，作为 3D adaptive query 的初始化。

2. 为了适应不同距离的物体的尺度不同，设计了 Perspective-aware Aggergation。它使得 3D query 可以和不同尺度的特征交互，有利于不同距离物体的特征捕捉。比如，远处物体需要大分辨率的特征，而近处则不同。模型通过这种设计可以自适应地与特征交互。

3. 设计了一种称为 Range-modulated 3D Denoising 的策略，以减轻 query 错误传播和收敛缓慢的问题。考虑到不同距离的 query 回归难度不同，noisy query 根据真实框的距离和尺度来调整。将 GT 附近的多组 noisy query 输入解码器，来分别实现重建3D 真实框（对于正样本）和舍弃负样本的作用。

主要贡献

1. 本文提出了一种新的基于稀疏 query 的检测框架，它利用高质量的 2D object prior 来生成 3D adaptive query, 从而扩大三维检测的感知范围。

2. 本文设计了 Perspective-aware Aggregation 模块，它从不同尺度和视角聚合视觉特征，以及一个基于目标距离的 3D Denoising 策略，来解决 query 误差传播和框架收敛问题。

3. 在远距离的 Argoverse 2 数据集的实验结果表明，Far3D 超越了此前的环视方法，并优于几种基于激光雷达的方法。并且在 nuScenes 数据集上验证了其通用性。

模型设计

Far3D 流程概览：

1. 将环视图像输入主干网络和 FPN 层，编码得到 2D 图像特征，并将其与相机参数进行编码。

2. 利用 2D 检测器和深度预测网络，生成可靠的 2D 物体框及其相应深度，然后通过相机变换投影到 3D 空间。

3. 生成的3D adaptive query 与初始的 3D global query 相结合，由解码器层迭代回归，以预测 3D 物体框。更进一步，该模型可通过长时序的 query 传播实现时序建模。

Perspective-aware Aggregation：

为了给远距离检测模型引入多尺度特征，本文应用了 3D spatial deformable attention。它先在 query 对应的 3D 位置附近进行偏移采样，而后通过 3D-2D 视图变换聚合图像特征。这种方法替代 PETR 系列中的 global attention 的优势在于，计算量可以大幅降低。具体地，对于 3D 空间中的每个 query 的参考点，模型会学习其周围的 M 个采样偏移，并将这些偏移点投影到不同的 2D 视图特征中。

其后，3D query 与投影得到的采样特征交互。通过这种方式，来自不同视角和尺度的各种特征将通过考虑其相对重要性汇聚到三维查询中。

Range-modulated 3D Denoising：

不同距离的 3D query 具有不同的回归难度，这不同于现有的 2D Denoising 方法（如 DN-DETR, 通常同等对待的2D query)。难度差异来自于 query 匹配密度和误差传播。一方面，与远处物体相对应的 query 匹配度低于近处物体。另一方面，在 3D adaptive query 中引入二维先验时，2D 物体框的微小误差会被放大，更不用说这种影响会随着物体距离的增加而增大。因此，GT 框附近的一些 query 可被视为 positive query，而其他有明显偏差则应被视为 negative query。本文提出一种 3D Denoising 方法，旨在优化那些正样本，并直接舍弃负样本。

具体地，作者通过同时添加正样本和负样本组来构建基于 GT 的 noisy queries。对于这两种类型，都会根据物体的位置和大小应用随机噪声，以促进远距离感知中的去噪学习。形式上，正样本定义在 3D 框内的随机点，而负样本则在 GT 施加更大的偏移，范围随着物体的距离变化。这种方式可以在训练过程中模拟有噪声的候选正样本和 false postive 样本。

实验结果

Far3D 在 150m 感知范围的 Argoverse 2 上取得了最高的性能。并且模型 scale up 之后，可以达到几个 Lidar-based 方法的性能，展现了纯视觉方法的潜力。

为了验证泛化性能，作者也在 nuScenes 数据集上做了实验，表明其在验证集和测试集上都达到 SoTA 性能。

通过 Ablation 实验表明了 3D adaptive query, perspective-aware aggregation 和 range-modulated 3D denoising 各自的增益。

论文思考

Q：这篇文章有什么 novelty?
A：主要 novelty 是解决远距离场景的感知问题。现有方法拓展到远距离场景有许多问题，计算成本和收敛困难等。本文作者为这个任务提出了一个高效的框架。尽管单拎出来各个模块似曾相识，它们都是服务于远处目标的检测的，目标明确。

Q：相比 BevFormer v2， MV2D 有什么区别？
A: MV2D 主要是依赖 2D anchor 去取对应的特征对 3D 进行了绑定，但是没有显式的深度估计，所以对于远距离物体来说不确定性就会比较大，然后难收敛；BevFormer v2 主要解决的是2D backbone与 3D 任务场景之间的domain gap，一般 2D 识别任务上预训练的 backbone 察觉 3D 场景的能力存在不足，并没有探索远距离任务中的问题。

Q: 时序上能否改进，如 query propagation 再加上 feature propagation？
A: 理论上是可行的，但是实际应用中应该考虑performance-efficiency tradeoff。

Q: 还有哪些需要改进的地方？
A: 在长尾问题和远距离评测指标上都值得改进。在 Argoverse 2 这样的 26 类目标上，模型在长尾类别上表现不佳，最终也会降低平均精度，这一点尚未被探索。另一方面，使用统一的指标来评估远距离和近距离物体可能并不合适，这就强调了对实用的动态评估标准的需求，以适应现实世界的不同场景。

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！