超越BEVFusion | RoboFusion：通过SAM实现稳健的多模态3D检测

编辑 | 自动驾驶Daily

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【多传感器融合】技术交流群

本文只做学术分享，如有侵权，联系删文

论文链接：https://arxiv.org/pdf/2401.03907.pdf

多模态3D检测器致力于探索安全可靠的自动驾驶感知系统。然而，尽管在干净的基准数据集上实现了最先进的（SOTA）性能，但它们往往忽略了现实世界环境的复杂性和恶劣条件。同时，随着视觉基础模型（VFM）的出现，在自动驾驶中提高多模态三维检测的鲁棒性和泛化能力也面临着机遇和挑战。因此，作者提出了RoboFusion，这是一个强大的框架，它利用像SAM这样的VFM来解决分布外（OOD）噪声场景。

首先将最初的SAM应用于名为SAM-AD的自动驾驶场景，为了将SAM或SAMAD与多模态方法对齐，引入AD-FPN来对SAM提取的图像特征进行上采样。采用小波分解对深度引导图像进行去噪，以进一步降低噪声和天气干扰。最后，使用自注意机制来自适应地重新加权融合的特征，增强信息特征，同时抑制过量噪声。RoboFusion通过利用VFM的泛化和鲁棒性逐渐降低噪声，从而增强了多模式3D目标检测的弹性。因此，RoboFusion在噪声场景中实现了最先进的性能，正如KITTIC和nuScenes-C基准测试所证明的那样！

论文提出了一个稳健的框架，RoboFusion，它利用像SAM这样的VFM来将3D多模态目标检测器从干净场景调整为OOD噪声场景。特别是，SAM的适应策略如下。

1） 使用从SAM中提取的特征，而不是推理分割结果。

2） 提出了SAM-AD，这是针对AD场景的预训练SAM。

3） 介绍了一种新的AD-FPN来解决用于将VFM与多模式3D检测器对准的特征上采样问题。

4） 为了进一步减少噪声干扰并保留基本信号特征，设计了一个深度引导小波注意（DGWA）模块，该模块可以有效地衰减高频和低频噪声。

5） 在融合点云特征和图像特征后，提出了自适应融合，通过自关注自适应地重新加权融合后的特征，进一步增强特征的鲁棒性和抗噪性。

RoboFusion网络结构

RoboFusion框架如下所示，激光雷达分支遵循基线[Chen et al.，2022；Bai et al.，2022]来生成激光雷达特征。在相机分支中，首先使用高度优化的SAM-AD提取稳健的图像特征，并使用AD-FPN获取多尺度特征。其次，由原始点生成稀疏深度图S，并将其输入深度编码器以获得深度特征，并与多尺度图像特征融合以获得深度引导图像特征。然后使用波动注意力来去除突变噪声。最后，自适应融合通过自注意机制将点云特征与具有深度信息的鲁棒图像特征相结合。

SAM-AD：为了进一步使SAM适应AD（自动驾驶）场景，对SAM进行预训练以获得SAM-AD。具体而言，我们从成熟的数据集（即KITTI和nuScenes）中收集了大量图像样本，形成了基础的AD数据集。在DMAE之后，对SAM进行预训练，以获得AD场景中的SAM-AD，如图3所示。将x表示为来自AD数据集的干净图像（即KITTI和nuScenes），将η表示为基于x生成的噪声图像。噪声类型和严重程度分别从四种天气（即雨、雪、雾和阳光）和1-5的五种严重程度中随机选择。使用SAM、MobileSAM的图像编码器作为我们的编码器，而解码器和重建损失与DMAE相同。

AD-FPN。作为一种可提示的分割模型，SAM由三个部分组成：图像编码器、提示编码器和掩码解码器。一般来说，有必要将图像编码器推广到训练VFM，然后再训练解码器。换言之，图像编码器可以为下游模型提供高质量和高度鲁棒的图像嵌入，而掩码解码器仅被设计为提供用于语义分割的解码服务。此外，我们需要的是鲁棒的图像特征，而不是提示编码器对提示信息的处理。因此，我们使用SAM的图像编码器来提取稳健的图像特征。然而，SAM利用ViT系列作为其图像编码器，其排除了多尺度特征，仅提供高维低分辨率特征。为了生成目标检测所需的多尺度特征，受[Li et al.，2022a]的启发，设计了一种AD-FPN，它提供基于ViT的多尺度特性！

尽管SAM-AD或SAM具有提取稳健图像特征的能力，但2D域和3D域之间的差距仍然存在，并且在损坏的环境中缺乏几何信息的相机经常放大噪声并引起负迁移问题。为了缓解这个问题，我们提出了深度引导小波注意（DGWA）模块，该模块可以分为以下两个步骤。1） 设计了一个深度引导网络，通过结合点云的图像特征和深度特征，在图像特征之前添加几何体。2） 使用Haar小波变换将图像的特征分解为四个子带，然后注意力机制允许对子带中的信息特征进行去噪！

实验对比

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2400人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！