[论文翻译]Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting

论文地址：[2401.01339] Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting

源码链接：zju3dv/street_gaussians: [ECCV 2024] Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting

项目主页：Street Gaussians

---

Abstract

本文旨在解决自动驾驶场景中动态城市街道建模的问题。近期的方法通过结合跟踪的车辆姿态来扩展神经辐射场（NeRF）以实现车辆的动画效果，从而能够对动态城市街道场景进行逼真的视图合成。然而，其显著的局限性在于训练和渲染速度较慢。我们引入了“街道高斯”（Street Gaussians），这是一种新的显式场景表示方法，可解决这些局限性。具体而言，动态城市场景被表示为一组配备语义logits和3D高斯的点云，每个点云与前景车辆或背景相关联。为了对前景对象车辆的动态进行建模，每个对象点云通过可优化的跟踪姿态以及用于动态外观的4D球谐模型进行优化。这种显式表示允许轻松组合对象车辆和背景，进而允许在半小时的训练内进行场景编辑操作和以135 FPS（1066×1600分辨率）进行渲染。所提出的方法在多个具有挑战性的基准上进行了评估，包括KITTI和Waymo Open数据集。实验表明，所提出的方法在所有数据集上始终优于最先进的方法。代码将被发布以确保可重复性。

3 Method

给定从城市街道场景中的移动车辆捕获的一系列图像，我们的目标是开发一种能够生成用于视图合成的逼真图像的模型。为了实现这一目标，我们提出了一种新颖的场景表示方法，名为“街道高斯”，专门用于表示动态街道场景。如图2所示，我们将动态城市场景表示为一组点云，每个点云对应于静态背景或移动车辆（第3.1节）。这种显式的基于点的表示允许轻松组合单独的模型，实现实时渲染以及对前景对象进行分解以用于编辑应用（第3.2节）。所提出的场景表示可以与现成跟踪器的跟踪车辆姿态一起有效地进行训练，并通过我们的姿态优化策略得到增强（第3.3节）。

3.1 Street Gaussian

在本节中，我们试图找到一种可以快速构建并实时渲染的动态场景表示方法。先前的方法[23, 64]通常面临训练和渲染速度慢以及准确跟踪车辆姿态的挑战。为了解决这个问题，我们提出了一种新颖的显式场景表示方法，名为“街道高斯”，它基于3D高斯[19]构建。在“街道高斯”中，我们用单独的神经点云来表示静态背景和每个移动车辆对象。

接下来，我们将首先关注背景模型，详细阐述与对象模型共享的几个常见属性。随后，我们将深入研究对象模型设计的动态方面。

背景模型：背景模型表示为世界坐标系中的一组点。每个点被分配一个3D高斯，以柔和地表示连续的场景几何形状和颜色。高斯参数由协方差矩阵${\sum }_b$和位置向量${\mu }_b\in {\mathbb{R}}^3$组成，${\mu }_b$表示均值。为了在优化过程中避免无效值，每个协方差矩阵进一步简化为缩放矩阵$S_b$和旋转矩阵$R_b$，其中$S_b$由其对角元素表征，$R_b$转换为单位四元数。协方差矩阵${\sum }_b$可以从$S_b$和$R_b$中恢复为

$$\sum _b=R_b{S}_b{S}_b^T{R}_b^T(1)$$

除了位置和协方差矩阵外，每个高斯还被分配一个透明度值${\alpha }_b\in \mathbb{R}$和一组球谐系数$z_b=(z_{m,l}{)}_{l:0\le \ell \le {\ell }_{max}}^{m:-\ell \le m\le \ell }$，以表示场景几何形状和外观。为了获得与视角相关的颜色，球谐系数进一步乘以从视角方向投影的球谐基函数。为了表示3D语义信息，每个点添加一个语义logit ${\beta }_b\in {\mathbb{R}}^M$，其中$M$是语义类别的数量。

对象模型。考虑一个包含N个移动的前景对象车辆的场景。每个对象都由一组可优化的跟踪车辆姿态和一个点云来表示，其中每个点都被赋予一个三维高斯分布、语义逻辑值以及一个动态外观模型。

物体和背景的高斯属性相似，透明度${\alpha }_o$和缩放矩阵$S_o$的含义相同。然而，它们的位置、旋转和外观模型与背景模型有所不同。位置${\mu }_o$和旋转$R_o$是在物体局部坐标系中定义的。为了将它们转换到世界坐标系（即背景的坐标系）中，我们引入了物体跟踪姿态的定义。具体而言，车辆的跟踪姿态被定义为一组旋转矩阵 { R t } t = 1 N t \{R_{t}\}_{t = 1}^{N_{t}} {Rt​}t=1Nt​​和平移向量 { T t } t = 1 N t \{T_{t}\}_{t = 1}^{N_{t}} {Tt​}t=1Nt​​，其中$N_t$表示帧数。这种转换可以定义为：

$$\begin{array}{rl}{\mu }_w& ={\mathbf{R}}_t{\mu }_o+{\mathbf{T}}_t,\\ {\mathbf{R}}_w& ={\mathbf{R}}_t{\mathbf{R}}_o\end{array}(2)$$

其中${\mu }_w$和${\mathbf{R}}_w$分别是相应物体高斯分布在世界坐标系中的位置和旋转。经过转换后，物体的协方差矩阵${\sum }_w$可以通过公式1利用${\mathbf{R}}_w$和${\mathbf{S}}_o$得到。需要注意的是，我们还发现从现成的跟踪器获取的跟踪车辆姿态存在噪声。为了解决这个问题，我们将跟踪车辆姿态视为可学习的参数。我们会在3.3节详细阐述这一点。

如图3所示，仅仅用球谐系数来表示物体外观对于对移动车辆的外观进行建模是不够的，因为移动车辆的外观会受到其在全局场景中位置的影响。一个直接的解决方案是在每个时间步都使用单独的球谐函数来表示物体。然而，这种表示方式会大幅增加存储成本。**相反，我们引入了4D球谐模型，通过用一组傅里叶变换系数$f\in {\mathbb{R}}^k$（其中$k$是傅里叶系数的数量）来替换每个球谐系数$z_{m,l}$。**给定时间步$t$，$z_{m,l}$可通过执行实值离散傅里叶逆变换来恢复：

$$z_{m,l}=\sum _{i=0}^{k-1}{f}_i\cos \left(\frac{i\pi }{N_t}t\right)(3)$$

通过所提出的模型，我们可以在不产生高存储成本的情况下将时间信息编码到外观中。

对象模型的语义表示与背景的语义表示不同。主要区别在于，对象模型的语义是一个可学习的一维标量${\beta }_o$，它表示来自跟踪器的车辆语义类别，而不是一个$M$维向量${\beta }_b$。

初始化方面，三维高斯中使用的运动恢复结构（SfM）[46]点云适用于以对象为中心的场景。然而，对于存在许多观测不足或无纹理区域的城市街道场景，它无法提供良好的初始化。相反，我们使用由自车（ego vehicle）捕获的聚合激光雷达（LiDAR）点云作为初始化。激光雷达点云的颜色是通过投影到相应的图像平面并查询像素值来获得的。

为了初始化对象模型，我们首先收集三维边界框内的聚合点，并将它们转换到局部坐标系中。对于激光雷达（LiDAR）点数少于2000的对象，我们改为在三维边界框内随机采样8000个点作为初始化。对于背景模型，我们对剩余的点云进行体素下采样，并过滤掉训练相机无法观测到的点。我们结合运动恢复结构（SfM）点云来弥补激光雷达在大面积区域覆盖有限的问题。

3.2 Rendering of Street Gaussians

为了渲染“街道高斯”（Street Gaussians），我们需要汇总每个模型的贡献以渲染出最终图像。先前的方法[23, 39, 64, 71]由于采用了神经场表示，所以需要通过复杂的光线行进（raymarching）进行合成渲染。相反，“街道高斯”可以通过将所有点云连接起来并将它们投影到二维图像空间来进行渲染。

具体来说，给定一个要渲染的时间步长$t$，我们首先根据公式3计算球谐函数，然后根据跟踪的车辆姿态$(R_t,T_t)$利用公式2将对象点云转换到世界坐标系中。接着，我们将背景点云与转换后的对象点云连接起来，形成一个新的点云。

为了利用相机外参$W$和内参$K$将这个点云投影到二维图像空间，我们为点云中的每个点计算二维高斯分布：

$$\begin{array}{r}{\mu }^{\prime }=\mathbf{KW}\mu ，\\ {\sum }^{\prime }={\mathbf{JW}\sum \mathbf{W}}^T{J}^T\end{array}(4)$$

其中$J$是$K$的雅可比矩阵。${\mu }^{\prime }$和${\sum }^{\prime }$分别是二维图像空间中的位置和协方差矩阵。

然后对每个像素进行基于点的$\alpha$-混合（alpha-blending）用于计算颜色$C$：

$$C=\sum _{i\in N}{c}_i{\alpha }_i\prod _{j=1}^{i-1}(1-{\alpha }_j)(5)$$

在此，${\alpha }_i$是透明度$\alpha$乘以二维高斯分布的概率，$c_i$是根据球谐函数$z$以及视角方向计算得出的颜色。

我们还可以渲染其他信号，如深度、透明度和语义信息。例如，通过将公式5中的颜色$c$替换为语义逻辑值$\beta$来渲染语义图。

3.3 Training

跟踪姿态优化。如公式2所示，在3.2节渲染过程中，物体高斯分布的位置和协方差矩阵与跟踪姿态参数密切相关。然而，跟踪器模型生成的边界框通常存在噪声。直接使用它们来优化我们的场景表示会导致渲染质量下降。因此，我们将跟踪姿态视为可学习参数，方法是为每个变换矩阵添加一个可学习的变换。具体来说，公式2中的$R_t$和$T_t$被$R_t^{\prime }$和$T_t^{\prime }$取代，它们的定义如下：

$$\begin{array}{rl}{R}_t^{\prime }& =R_t\Delta R_t\\ T_t^{\prime }& =T_t+\Delta T_t\end{array}(6)$$

其中$\Delta R_t$和$\Delta T_t$是可学习的变换。我们将$\Delta T_t$表示为一个三维向量，将$\Delta R_t$表示为一个由偏航偏移角$\Delta {\theta }_t$转换而来的旋转矩阵。这些变换的梯度可以直接获取，无需任何隐式函数或中间过程，在反向传播过程中也不需要任何额外的计算。

损失函数：我们使用以下损失函数联合优化我们的场景表示、天空立方体贴图和跟踪姿态：

$$\mathcal{L}={\mathcal{L}}_{color}+{\lambda }_1{\mathcal{L}}_{depth}+{\lambda }_2{\mathcal{L}}_{sky}+{\lambda }_3{\mathcal{L}}_{sem}+{\lambda }_4{\mathcal{L}}_{reg}(7)$$

在公式7中，${\mathcal{L}}_{color}$是按照[19]所定义的渲染图像和观测图像之间的重建损失。${\mathcal{L}}_{depth}$是渲染深度与将稀疏激光雷达点投影到相机平面所生成深度之间的L1损失。${\mathcal{L}}_{sky}$是用于天空监督的二元交叉熵损失。${\mathcal{L}}_{sem}$是渲染语义逻辑值与输入二维语义分割预测之间的可选的逐像素软最大化 - 交叉熵损失[24]，${\mathcal{L}}_{reg}$是一个用于去除漂浮物并增强分解效果的正则化项。关于每个损失项的详细信息，请参考补充材料。

5 Experiment

5.4 Applications

“街道高斯”（Street Gaussians）可应用于计算机视觉中的多个任务，包括对象分解、语义分割和场景编辑。

场景编辑：我们这种具有实例感知的场景表示方法能够实现多种类型的场景编辑操作。我们可以旋转车辆的行驶方向（图7（a）），平移车辆（图7（b）），以及将场景中的一辆车替换为另一辆车（图7（c））。

物体分解：我们在Waymo数据集下将我们的方法的分解结果与NSG [39]和MARS [64]进行了比较。如图8所示，NSG无法将前景物体从背景中分离出来，而MARS的结果由于模型容量以及缺乏正则化处理而显得模糊不清。相比之下，我们的方法能够生成高保真且清晰的分解结果。

语义分割：我们将我们渲染出的语义图的质量与Video-K-Net [24]在KITTI数据集上的语义预测结果进行了比较。我们的语义分割模型是依据Video K-Net的结果进行训练的。定性和定量结果分别如图9和表4所示。得益于我们的表示方法，我们的语义图取得了更好的性能。

6 Conclusion

本文介绍了“街道高斯”（Street Gaussians），这是一种用于对动态城市街道场景进行建模的显式场景表示方法。所提出的表示方法将背景和前景车辆分别建模为一组神经点云。这种显式表示允许轻松组合对象车辆和背景，能够在半小时的训练时间内实现场景编辑和实时渲染。此外，我们还证明了，仅使用现成跟踪器所提供的姿态，所提出的场景表示方法就能够取得与使用精确的真实姿态所达到的性能相当的效果。我们在多个数据集上进行了详细的消融实验和对比实验，证明了所提出方法的有效性。

A More implementation details

A.1 Street Gaussians implementations.

点云初始化。我们将相机位姿视为已知参数，通过三角测量法来获取背景模型的运动恢复结构（SfM）点云。由于运动物体违背了多视图一致性的假设，所以在特征提取过程中，我们利用如图10所示的掩模来忽略这些部分。由于运动恢复结构点云和激光雷达（LiDAR）点云都是在世界坐标系中定义的，所以我们可以直接将它们连接起来。

物体语义。为了将表示物体的一维标量${\beta }_o$与表示背景的$M$维向量${\beta }_b$进行合并，在渲染过程中，我们将${\beta }_o$转换为一个针对车辆标签的$M$维独热向量（one-hot vector）。

天空立方体贴图。天空立方体贴图将视角方向$d$作为输入，并输出天空颜色$C_{sky}$。设高斯分布的渲染颜色和不透明度分别为$C_g$和$O_g$，则最终的渲染颜色$C$可写为：

$$⁍$$

损失函数Loss functions

正如我们在主文中所探讨的，我们的总损失函数如下：

$$\mathcal{L}={\mathcal{L}}_{color}+{\lambda }_1{\mathcal{L}}_{depth}+{\lambda }_2{\mathcal{L}}_{sky}+{\lambda }_3{\mathcal{L}}_{sem}+{\lambda }_4{\mathcal{L}}_{reg}(9)$$

以下是对各项损失函数的详细说明：

1. 颜色损失（${\mathcal{L}}_{color}$）

我们在渲染图像与观测图像之间应用$L_1$损失和离散结构相似性指数度量（D - SSIM）损失，其计算公式为：

$$⁍$$

我们依照文献[19]的做法，将${\lambda }_{SSIM}$设置为0.2 。

1. 深度损失（${\mathcal{L}}_{depth}$）

我们针对渲染深度$D$和激光雷达测量所得的深度$D^{\text{lidar}}$应用$L_1$损失，具体公式为：

$${\mathcal{L}}_{depth}=\sum \Vert D-D^{\text{lidar}}\Vert {}_1(11)$$

（这里$\sum \Vert D-D^{\text{lidar}}\Vert {}_1$表示对所有对应点处的$\Vert D-D^{\text{lidar}}\Vert {}_1$进行求和操作，以得到整体的深度损失值）我们对深度误差最小的95%的像素进行优化，以防止有噪声的激光雷达观测数据影响优化过程[71]。${\lambda }_1$被设置为0.01。

1. 天空损失（${\mathcal{L}}_{sky}$）。

我们在渲染出的不透明度$O_g$和预测的天空掩模$M_{sky}$之间应用二元交叉熵损失：

$${\mathcal{L}}_{sky}=-\sum ((1-M_{sky})\log O_g+M_{sky}\log (1-O_g))$$

$M_{sky}$是由基于文本的分割模型（Grounded SAM）[44]生成的。具体来说，我们首先通过向目标检测模型（Grounding Dino）[31]输入文本“sky”来获取二维框。然后我们将这些框作为提示输入到分割模型（SAM）[21]中，并得到预测的天空掩模。${\lambda }_2$被设置为0.05。

1. 语义损失（${\mathcal{L}}_{sem}$）。我们在渲染出的语义逻辑值和预测的二维语义分割结果[24]之间应用逐像素的软最大化 - 交叉熵损失。为了防止有噪声的输入语义标签影响场景几何结构[49]，对于$L_{sem}$，我们仅对语义逻辑值$\beta$进行反向传播。${\lambda }_3$被设置为0.1。
2. 正则化损失（$L_{reg}$）：我们损失函数中的正则化项被定义为对分解出的前景物体的累积透明度值（$O_{obj}$）的熵损失：

$${\mathcal{L}}_{reg}=-\sum \left(O_{obj}\log O_{obj}+(1-O_{obj})\log (1-O_{obj})\right)$$

我们在自适应控制过程之后添加这项损失，以帮助我们的模型更好地区分前景和背景。图11展示了定性结果，这些结果证明了该正则化项的效果。${\lambda }_4$被设置为0.1。

参考资料

1.einsum用法解释：https://rogerspy.github.io/2021/09/12/einsum-mhsa/， https://pytorch.org/docs/stable/generated/torch.einsum.html#torch-einsum，

本文仅做学术分享，如有侵权，请联系删文。