HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting

论文地址： HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting
代码地址： HUGS

摘要

基于 RGB 图像的城市场景的整体理解是一个具有挑战性的问题。它包含理解几何和外观，以实现新颖的视图合成、解析语义标签和跟踪移动对象。尽管取得了相当大的进展，但现有方法通常侧重于此任务的特定方面，并且需要额外的输入，例如 LiDAR 扫描或手动注释的 3D 边界框。在本文中，我们介绍了一种新颖的管道，它利用 3D 高斯飞溅进行整体城市场景理解。我们的主要想法是使用静态和动态 3D 高斯的组合联合优化几何、外观、语义和运动，其中移动对象姿势通过物理约束进行正则化。我们的方法提供了实时渲染新视点的能力，以高精度产生 2D 和 3D 语义信息，并重建动态场景，即使在 3D 边界框检测高度嘈杂的场景中。KITTI、KITTI-360 和 Virtual KITTI 2 的实验结果证明了我们方法的有效性。

3 Method

图 2 说明了我们提出的方法 HUGS。我们的算法将动态城市场景的姿态图像作为输入。我们将场景分解为静态和动态 3D 高斯，动态车辆的运动通过单周期模型建模。3D 高斯不仅表示外观，还表示语义和流信息，允许通过体绘制渲染 RGB 图像、语义标签以及光流。

方法概述。我们将场景分解为静态区域和N个刚性移动的动态对象。每个动态对象在其规范空间中使用 3D 高斯表示，然后根据由单周期模型约束的转换转换为世界坐标。我们使用不同参数的 $N$ 个单周期模型来单独表示 $N$ 个动态对象的运动。每个 3D 高斯都包含有关外观和语义的信息，而光流可以通过计算高斯中心的运动来获得，从而能够在一个统一的模型中渲染 RGB 图像、语义图和光流。我们的方法使用 RGB 图像、嘈杂的 2D 语义标签和噪声光流进行监督，分别表示为 ${\mathcal{L}}_I$、${\mathcal{L}}_S$ 和 ${\mathcal{L}}_F$。

3.1. Decomposed Scene Representation

我们假设场景由静态区域组成，共有 $N$ 辆动态车辆表现出刚性运动。静态区域在世界坐标系中使用静态高斯函数表示。$N$ 个动态车辆中的每一个都在规范坐标系中使用动态高斯和一组刚性变换 { ( R t n , t t n ) } t = 1 T \left\{(R^n_t,t^n_t)\right\}^T_{t=1} {(Rtn​,ttn​)}t=1T​建模，其中 $t$ 表示时间戳。
Static and Dynamic 3D Gaussians： 在高斯飞溅[17]之后，我们使用 3D 高斯对静态和动态区域进行建模。每个高斯由 3D 协方差矩阵 $\Sigma \in {\mathbb{R}}^{3\times 3}$ 和 3D 位置 $\mu \in {\mathbb{R}}^3$ 以及不透明度 $\alpha \in {\mathbb{R}}^{+}$ 定义：
$$G(x)=\alpha exp\left(-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu )\right)\text{\hspace{1em}(1)}$$
此外，每个高斯代表一个颜色向量 $c\in {\mathbb{R}}^3$，参数化为 SH 系数。在这项工作中，我们建议额外对每个 3D 高斯的语义 $logits$ $s\in {\mathbb{R}}^S$ 进行建模，从而允许渲染 2D 语义标签。此外，我们可以通过将 3D 位置 $\mu$ 投影到两个不同时间戳 $t_1$ 和 $t_2$ 的图像空间并计算运动，自然地为每个 3D 高斯获得渲染的光流 $f_{t_1\to t_2}\in {\mathbb{R}}^2$。
Unicycle Model： 我们根据 Unicycle Model 参数化变换 $(R_t,t_t)$。单周期模型的状态由三个元素参数化：$(x_t,y_t,{\theta }_t)$，其中 $x_t$ 和 $y_t$ 表示 $t$ 的前两个轴，$t_t=[x_t,y_t,z_t]$， ${\theta }_t$ 为 $R_t$ 的偏航角。为了使连续的单周期模型适应离散帧，我们推导出从时间戳 $t$ 到 $t+1$ 的车辆过渡的单周期模型的演算，如下所示：
$$x_{t+1}=x_t+\frac{v_t}{{\omega }_t}(sin{\theta }_{t+1}-sin{\theta }_t)$$
$$y_{t+1}=y_t-\frac{v_t}{{\omega }_t}(cos{\theta }_{t+1}-cos{\theta }_t)\text{\hspace{1em}(2)}$$
$${\theta }_{t+1}={\theta }_t+{\omega }_t$$
这里，$v_t$ 表示前进速度，${\omega }_t$ 是角速度。与独立优化每帧动态车辆的变换相比，该模型集成了物理约束，从而实现运动物体的平滑运动建模，使其不太容易出现局部极小值。
虽然可以定义初始状态 $(x_1,y_1,{\theta }_1)$ 并根据速度 $v_t$ 和 ${\omega }_t$ 递归推导出以下状态，但这种递归参数化对于优化具有挑战性。在实践中，我们定义了一组可训练状态 { ( x t , y t , θ t ) } t = 1 T \left\{(x_t, y_t, θ_t)\right\}^T_{t=1} {(xt​,yt​,θt​)}t=1T​ 和可训练速度 { v t , ω t } t = 1 T − 1 \left\{v_t, ω_t\right\}^{T-1}_{t=1} {vt​,ωt​}t=1T−1​ ，并添加正则化项以确保车辆的状态遵守方程式中的独轮车模型的 Eq.2 正则化项将在第 3.3 节中描述。此外，我们将车辆的垂直位置 { z t } t = 1 T \left\{z_t\right\}^T_{t=1} {zt​}t=1T​ 建模为可优化参数。

3.2 Holistic Urban Gaussian Splatting

给定上面指定的 HUGS 表示，我们能够渲染图像、语义图和光流来监督模型或在推理时进行预测。我们现在详细说明每个模态的渲染。
Novel View Synthesis： 静态和动态高斯的组合可以通过 $\alpha$ 混合排序并投影到图像平面上：
$$\pi :C=\sum _{i\in \mathcal{N}}{c}_i{\alpha }_i^{\prime }\prod _{j=1}^{i-1}(1-{\alpha }_j^{\prime })\text{\hspace{1em}(3)}$$
这里，${\alpha }_j^{\prime }$ 由投影的 2D 高斯和 3D 不透明度 $\alpha$ 确定，详见补充材料。
与单对象场景相比，城市场景通常涉及更复杂的照明条件，图像通常通过自动白平衡和自动曝光来捕获。基于 NeRF 的方法 [24] 通常将每帧外观嵌入以及 3D 位置馈送到神经网络以计算颜色，从而补偿曝光。然而，在处理 3D 高斯时，没有能够处理外观嵌入的神经网络。受城市辐射场[30]的启发，我们通过一个小的 MLP 将相机的外部参数映射到仿射矩阵 $A\in {\mathbb{R}}^{3\times 3}$ 和向量 $b\in {\mathbb{R}}^3$ 来生成每个相机的曝光仿射矩阵：
$$\hat{C}=A\times C+b\text{\hspace{1em}(4)}$$
我们证明了对曝光进行建模可以提高实验部分的渲染质量。
Semantic Reconstruction： 与 Eq.3 类似，我们可以通过基于 3D 语义 $logit$ $s$ 的 $\alpha$ 混合来获得 2D 语义标签：
$$\pi :S=\sum _{i\in \mathcal{N}}softmax(s_i){\alpha }_i^{\prime }\prod _{j=1}^{i-1}(1-{\alpha }_j^{\prime })\text{\hspace{1em}(5)}$$
请注意，我们在 $\alpha$ 混合之前对 3D 语义 $logits$ $s_i$ 执行 $softmax$ 操作，而大多数现有方法通过累积非归一化 3D 语义 $logits$ $s_i$ [11, 52] 获得的 2D 语义 $logits$ $\bar{S}$ 应用 softmax。如图 3 所示，在二维空间中应用 $softmax$ 会导致嘈杂的 3D 语义标签。这是因为 2D 空间 $softmax$ 可以通过调整 3D 语义 $logits$ 的规模来产生准确的 2D 语义，从而允许具有显着 $logit$ 值的单个采样点显着影响体积渲染结果。例如，尽管目标渲染标签是“树”，但标有“汽车”的不希望的浮点可能不会受到惩罚，只要有 3D 高斯提供沿这条射线的“树”的大 $logit$ 值。相反，我们的解决方案通过在 3D 空间中归一化 $logits$ 来消除这种漂浮物。有关更多定量和定性细节，请参阅补充材料。