OccFusion：一种简单有效的Occ多传感器融合框架（性能SOTA）

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『占用网络』技术交流群

论文作者 | 自动驾驶Daily

编辑 | 自动驾驶之心

本文介绍了OccFusion，这是一种简单高效的传感器融合框架，用于预测3D占用率。对3D场景的全面理解在自动驾驶中至关重要，最近的3D语义占用预测模型已经成功地解决了描述具有不同形状和类别的真实世界物体的挑战。然而，现有的3D占用预测方法在很大程度上依赖于全景相机图像，这使得它们容易受到照明和天气条件变化的影响。通过集成激光雷达和环视雷达等附加传感器的功能，本文的框架提高了占用预测的准确性和稳健性，从而在nuScenes基准上获得了顶级性能。此外，在nuScene数据集上进行的广泛实验，包括具有挑战性的夜间和雨天场景，证实了我们的传感器融合策略在各种感知范围内的卓越性能。

论文链接：https://arxiv.org/pdf/2403.01644.pdf

论文名称：OccFusion: A Straightforward and Effective Multi-Sensor Fusion Framework for 3D Occupancy Prediction

本文的主要贡献概述如下：

• 提出了一种多传感器融合框架，用于集成相机、激光雷达和雷达信息，以执行3D语义占用预测任务。

• 在3D语义占用预测任务中，将本文的方法与其他最先进的（SOTA）算法进行了比较，以证明多传感器融合的优势。

• 进行了彻底的消融研究，以评估不同传感器组合在具有挑战性的照明和天气条件下（如夜间和雨天）所实现的性能增益。

• 考虑到各种传感器组合和具有挑战性的场景，进行了一项全面的研究，以分析感知范围因素对我们的框架在3D语义占用预测任务中的性能的影响！

网络结构一览

OccFusion的总体架构如下所示。首先，将环绕视图图像输入到2D主干中以提取多尺度特征。随后，在每个尺度上进行视图变换，以获得每个级别的全局BEV特征和局部3D特征volume 。激光雷达和环视雷达生成的3D点云也被输入到3D主干中，以生成多尺度局部3D特征量和全局BEV特征。每个级别的动态融合3D/2D模块融合了相机和激光雷达/雷达的功能。在此之后，将每个级别的合并的全局BEV特征和局部3D特征volume 馈送到全局-局部注意力融合中，以生成每个尺度的最终3D volume 。最后，对每个级别的3D volume 进行上采样，并在采用多尺度监督机制的情况下进行skip连接。

实验对比分析

nuScenes验证集上的3D语义占用预测结果。所有方法都使用密集占用标签进行训练。模态概念：相机（C）、激光雷达（L）、雷达（R）。

nuScenes验证雨天场景子集上的3D语义占用预测结果。所有方法都使用密集占用标签进行训练。模态概念：相机（C）、激光雷达（L）、雷达（R）。

nuScenes验证夜间场景子集的3D语义占用预测结果。所有方法都使用密集占用标签进行训练。模态概念：相机（C）、激光雷达（L）、雷达（R）。

性能变化趋势。（a） 整个nuScenes验证集的性能变化趋势，（b）nuScenes验证夜间场景子集，以及（c）nuScene验证雨天场景子集的性能变化趋势。

表四：不同方法的模型效率比较。实验是在一台A10上使用六幅多摄像头图像、激光雷达和雷达数据进行的。对于输入图像分辨率，所有方法均采用1600×900。↓:越低越好。

更多消融实验：

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近2700人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦2D/3D目标检测、语义分割、车道线检测、目标跟踪、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、在线地图、点云处理、端到端自动驾驶、SLAM与高精地图、深度估计、轨迹预测、NeRF、Gaussian Splatting、规划控制、模型部署落地、cuda加速、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】平台矩阵，欢迎联系我们！