【GaussianOcc: Fully Self-supervised and Efficient 3D Occupancy Estimation with Gaussian Splatting】笔记

1. 论文概述

Abstract

GaussianOcc研究了关于高斯渲染的两方面：1. 完全的自监督 2. 高效的OCC估计。传统的自监督 3D 占用估计方法在训练期间仍然需要来自传感器的6D 姿态真值。

为了解决这个限制，提出高斯溅射投影（GSP）模块，为相邻视图投影的完全自监督训练提供准确的尺度信息。

此外，现有方法依赖于使用 2D 信号（深度图、语义图）进行最终 3D 体素表示学习的体积渲染，这既耗时又效率较低。我们提出从体素空间（GSV）进行高斯分布以利用高斯分布的快速渲染特性。

因此，所提出的 GaussianOcc 方法能够以较低的计算成本（训练速度快 2.7 倍，渲染速度快 5 倍）实现完全自监督（无地面真实姿态）3D 占用估计，具有竞争性能。

1. Introduction

近年来，以视觉为中心和以网格为中心的感知方法都得到了自动驾驶行业和学术界的广泛关注[35, 39]。其中，环视 3D 占用估计 [32,45,48,51] 已成为核心感知任务，也是鸟瞰 (BEV) 方法的有前景的替代方案 [9,29,30]。为了促进 3D 占用率估计，已经为监督训练开发了几个benchmark，尽管这些需要在 3D 注释方面付出大量努力。为了减轻注释的负担，人们提出了基于体绘制的自监督[5,12,18,24,54]和弱监督[37]学习方法[11,36,46]。体积渲染允许使用 2D 监督信号（例如 2D 语义图和深度图）进行 3D 表示学习，从而消除了训练期间需要大量 3D 注释。

现有方法[24, 54]通过体绘制实现自监督学习，其中2D语义图监督来自开放词汇语义分割[55]，深度图监督来自自监督深度估计[13] ]。然而，这些方法面临两个重大限制。首先，体积渲染是在真实世界尺度上执行的，这需要提供真实的 6D 位姿来计算跨连续图像的多视图光度损失。其次，由于需要密集采样操作，体渲染的低效率带来了挑战，与新颖的视图合成任务[1,19,27]相同。这些限制阻碍了开发更通用、更有效的自监督 3D 占用估计范例。

为了解决上述限制，我们探索了一种完全自监督且有效的方法，使用高斯分布进行 3D 占用估计 [1, 27]。具体来说，我们介绍了使用高斯泼溅来执行跨视图泼溅，其中渲染图像构造了跨视图损失，该损失在与 6D 姿态网络的联合训练期间提供尺度信息。这消除了训练期间对地面实况 6D 姿势的需要。为了提高渲染效率，我们放弃了传统体渲染所需的密集采样。相反，我们建议直接从 3D 体素空间执行高斯分布。在这种方法中，体素网格中的每个顶点都被视为 3D 高斯，我们直接优化体素空间内这些高斯的属性，例如语义特征和不透明度。通过这种新颖的方法，我们提出的方法 GaussianOcc 在完全自我监督和高效的 3D 占用估计方面取得了进展，如图 1 所示。

这项工作的主要贡献总结如下。

• 我们引入了第一个用于高效环视3D 占用估计的完全自监督方法，其特点是对高斯分布的探索。
• 我们提出了用于交叉视图投影的高斯泼溅，它可以提供尺度信息，从而在训练期间消除对地