GSD-Occ：实时Occ最新开源，速度比SOTA快3倍，mIoU提高1.9！

作者 | Deep蓝同学  编辑 | 深蓝AI

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『占用网络』技术交流群

本文只做学术分享，如有侵权，联系删文

论文标题：

Real-Time 3D Occupancy Prediction via Geometric-Semantic Disentanglement

论文作者：

Yulin He, Wei Chen, Tianci Xun, Yusong Tan

导读：

本文提出了GSD-Occ，一种创新的实时3D占用预测方法，通过几何-语义双分支网络和解耦学习策略，实现了高效率和高精度的占用预测。实验表明，GSD-Occ在保持20 FPS处理速度的同时，达到了39.4%的mIoU，超越了现有技术，并将代码开源以推动进一步研究。©️【深蓝AI】编译

占用预测在自动驾驶中至关重要，因为它提供了精细的几何感知和通用的对象识别能力。这些能力使得自动驾驶系统能够准确地感知和理解周围环境，从而进行安全有效的路径规划和决策。然而，现有的方法通常计算成本高，难以满足自动驾驶对实时性和效率的严格要求。为了应对这一挑战，作者首先评估了大多数公开可用方法的速度和内存使用情况，旨在将关注点从单纯追求准确性转移到提高计算效率和资源利用率方面。

▲图1｜Occ3D-nuScenes基准测试中各占用预测方法的推理速度（FPS）和准确率（mIoU）©️【深蓝AI】编译

实现快速且准确性能的关键在于几何和语义之间的强耦合，为此，作者提出了一种具有混合BEV-体素表示的几何-语义双分支网络（GSDBN）。在BEV分支中，引入了一个BEV级别的时序融合模块和一个U-Net编码器以提取密集的语义特征。在体素分支中，提出了一种大核重新参数化的3D卷积，以细化稀疏的3D几何并减少计算。此外，作者提出了一种新的BEV-体素提升模块，将BEV特征投射到体素空间，以实现两个分支的特征融合。

此外，作者还提出了一种几何-语义解耦学习（GSDL）策略。该策略首先使用准确的几何真值深度来学习语义，然后逐步混合预测深度以使模型适应预测的几何。实验表明，本方法在Occ3D-nuScenes基准测试中表现出色，以39.4 mIoU和20.0 FPS的成绩超过了CVPR2023 3D占用预测挑战赛的冠军FB-OCC，速度提高了约3倍，mIoU提高了1.9。

▲图2｜几何语义耦合问题示意图：(a) 不准确的深度预测会导致2D到3D特征投影的错误，需要后续网络进行细化和纠正；(b) 展示了预测深度和真实深度之间的性能差距，展现了解决该问题的重要性©️【深蓝AI】编译

■3.1 问题表述

给定传感器数据（例如相机图像、点云等）和目标场景的历史信息，我们的目标是生成高质量的3D占用图。这些占用图可以用于多种应用，例如自动驾驶、机器人路径规划等。

▲图3｜GSD-Occ的整体架构概览©️【深蓝AI】编译

■3.2 整体框架

几何-语义解耦占用预测器（GSD-Occ）的流程图如图3所示。该方法包括以下几个主要部分：

●图像编码器：用于提取图像特征。具体来说，给定T时刻的一组环视相机图像，本文采用预训练的主干网络（如ResNet-50）来提取图像特征，并使用FPN进一步处理。

●2D到3D视图转换：该模块将2D图像特征转换为体素表示。由于实时模型的学习能力有限，本文采用了一个显式视图转换模块，并通过深度监督进行训练。具体过程是，首先将图像特征输入到深度网络（DepthNet），生成预测的深度分布。然后，利用外积操作将图像特征和深度分布结合，得到伪点云特征。最后，通过体素池化操作获得体素特征，并进行2倍下采样以减少计算复杂度。

●几何-语义双分支网络（见3.3）：该网络通过几何分支和语义分支高效地保持几何完整性并提取丰富的语义信息。

●几何-语义解耦学习策略（见3.4）：该策略进一步增强了几何细化和语义学习的能力。

■3.3 几何-语义双分支网络

为了实现实时的3D占用预测，作者提出了一种几何-语义双分支网络（GSDBN）。该网络结合了鸟瞰图（BEV）表示和体素表示，既保证了计算效率又保持了几何完整性。GSDBN包含两个主要分支：语义BEV分支和几何体素分支。

◆语义BEV分支

语义BEV分支旨在从传感器数据中提取语义信息，并将其映射到鸟瞰图表示中。这一过程包含以下步骤：

●特征提取：使用ResNet-50作为特征提取器，从输入图像中提取高层次特征。

●特征转换：将提取的特征映射到鸟瞰图表示中，生成语义鸟瞰图。

◆几何体素分支

几何体素分支专注于从传感器数据中提取几何信息，并将其表示为体素。这一过程包括以下步骤：

●体素化：将传感器数据转换为体素表示。

●几何编码：使用大卷积核的3D卷积对体素进行编码，捕获细粒度的几何信息。

▲图4｜3D几何编码器中大核3D卷积重参数化技术示意图：该技术使用并行的空洞小核3D卷积来增强非空洞大核3D卷积，图中示例的卷积核大小为 [11, 11, 1]©️【深蓝AI】编译

■3.4 几何-语义解耦学习

为了进一步提高模型性能，作者提出了一种几何-语义解耦学习策略。该策略将几何校正和语义知识的学习过程分离开来，采用了一种简单而有效的学习方法，使得模型在不同的预训练模型和方法上都能保持一致的准确性提升。

具体来说，在训练初期将真实深度引入LSS，使模型能够在准确的真实几何信息下专注于学习语义信息。随后，在训练过程中，逐渐将真实深度与预测深度混合，以适应模型对预测几何的学习。混合深度通过算术平均得到，使用一个因子α控制真实深度和预测深度的比例。

随着训练的进行，α的值逐渐增加，使模型在训练结束时能够很好地细化预测的几何信息，并在推理时不再需要真实深度。通过这种逐步过渡的方法，模型既能利用真实几何信息进行语义学习，又能在推理阶段自适应地处理预测几何信息，从而提高整体的稳定性和准确性。

▲图5｜FB-OCC和本文方法的定性结果比较：结果表明，本文的方法能够构建更详细的几何结构（第1行和第2行）、更准确的语义（第3行）以及在夜间更强的适应性（第4行）©️【深蓝AI】编译

▲图6｜GSDL陡度的消融研究©️【深蓝AI】编译

▲表1｜Occ3D-nuScenes数据集上的3D占用预测性能比较©️【深蓝AI】编译

▲表2｜Occ3D-nuScenes数据集上的3D占用预测性能比较，使用RayIoU指标©️【深蓝AI】编译

▲表3｜GSDBN各组件的消融研究结果©️【深蓝AI】编译

▲表4｜GSDL在不同预训练模型和方法上的有效性分析©️【深蓝AI】编译

▲表5｜BVL模块的有效性分析©️【深蓝AI】编译

▲表6｜时间融合中不同历史帧数量的影响分析©️【深蓝AI】编译

▲表7｜3D编码器中不同卷积核大小的影响分析©️【深蓝AI】编译

本研究提出的几何-语义解耦占用预测器（GSD-Occ）结合鸟瞰图（BEV）和体素表示，通过几何-语义双分支网络（GSDBN）和几何-语义解耦学习（GSDL）策略，实现了高效和准确的实时3D占用预测。实验结果表明，GSD-Occ在保持高质量占用预测的同时，满足自动驾驶对实时性的要求。

未来的研究将进一步优化GSD-Occ，通过设计更高效的网络结构以减少计算复杂度，融合激光雷达等多传感器数据以增强预测的准确性和鲁棒性，引入自适应学习机制以提高模型的泛化能力等方式。此外，还需要加强在实际道路和复杂交通环境中的测试，以验证模型的可靠性和安全性。

-end-

投稿作者为『自动驾驶之心知识星球』特邀嘉宾，欢迎加入交流！重磅，自动驾驶之心科研论文辅导来啦，申博、CCF系列、SCI、EI、毕业论文、比赛辅导等多个方向，欢迎联系我们！

① 全网独家视频课程

BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、大模型与自动驾驶、Nerf、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）

网页端官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

国内最大最专业，近3000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型、端到端等，更有行业动态和岗位发布！欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦感知、定位、融合、规控、标定、端到端、仿真、产品经理、自动驾驶开发、自动标注与数据闭环多个方向，目前近60+技术交流群，欢迎加入！扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

④【自动驾驶之心】全平台矩阵