只需一行代码提高3DGS重建质量！随机初始化新SOTA

论文标题：

Relaxing Accurate Initialization Constraint for 3D Gaussian Splatting

论文作者：

Jaewoo Jung, Jisang Han, Honggyu An,
Jiwon Kang, Seonghoon Park and Seungryong Kim

导读：

3DGS在新视角合成和三维重建方面展现了令人印象深刻的性能。但是其在很大程度上依赖于SfM方法获得的精确初始化。当使用随机初始化的点云进行训练时，3DGS通常无法保持其生成高质量图像的能力，其PSNR性能通常会下降4-5分贝。本文提出了一种名为RAIN-GS的新型优化策略，成功地从随机初始化的点云训练高质量的3DGS。©️【深蓝AI】编译

1. 问题简介

3DGS在SfM技术难以收敛的场景中时（如具有对称性、镜面属性和无纹理区域的场景，以及稀疏的可用视角），难以得到较好的初始化点云。

这时如果使用随机初始化的点云进行训练，其性能会大幅下降。由于3DGS极度依赖于初始点云，即使可以通过外部传感器或预校准摄像机获得摄像机姿态，SfM也成为了难以避免的前提条件。

本文基于对SfM和随机初始化点云之间的差异的分析，提出了一种名为RAIN-GS的新型优化策略，成功地引导3DGS先学习粗略分布，然后鲁棒地学习其余的高频成分。

图1｜本文简单策略的有效性。左图和右图分别显示了使用密集-小方差DSV随机初始化（原始 3DGS 使用的随机初始化方法）训练的 3DGS和使用文章的方法训练的 3DGS 的结果。从 3DGS 过渡到文章的方法只需要稀疏-大方差（SLV）随机初始化和渐进高斯低通滤波©️【深蓝AI】编译

2. 方案提出

本工作首先在渲染图像的频域分析信号，并发现SfM初始化可以解释为从真实分布的粗略近似开始。

其次，在3DGS中，这个粗略近似作为优化过程中后续改进的基础，防止高斯陷入局部最小值。基于这一分析，文章进行了一个简化的1D回归任务的玩具实验，以确定引导高斯从零开始稳健学习真实分布分布的基本要素。实验揭示，最初学习真实分布的粗略近似（低频成分）对于成功的重建至关重要。研究者发现，类似于SfM初始化，最初学到的粗略近似在学习分布的高频成分时起到了引导作用。

3. 文章动机

3.1 3DGS中的SfM初始化

为了解3DGS在不同点云初始化条件下的巨大性能差距，本文首先分析了使用 SfM 点云进行训练时的表现。SfM提供了带有颜色和位置粗略信息的稀疏点云。3DGS有效地利用了这一输出，根据点云的位置和估计的颜色初始化高斯参数${\mu }_i$和球谐波（SH）系数。仅经过10个迭代（占总训练迭代数的0.03%），渲染结果就已显示出比较可观的质量并且与真实图像的较高相似性。

图2｜3DGS中的SfM初始化分析©️【深蓝AI】编译

如图2所示，（a）上图是GT图像，下图是3DGS仅经过10步SfM初始化后渲染的图像。可以观察到，渲染后的图像已经粗略接近GT图像。为了在频域上分析图像，从图像中随机取样一条红色标记的水平线。（b）图中显示了沿此线的像素强度值，GT图像显示为橙色，渲染图像显示为蓝色。（c）图显示了（b）中频率分量的大小。离x轴中间较远的频率代表高频分量，可以观察到SfM提供了真实分布的粗略近似值。

由于新视图合成的目标是构建场景的三维分布，因此实际上是对真实分布的低频和高频成分进行建模。

而在NeRF中是利用位置编码来促进高频成分的学习。高频成分的过快收敛使得NeRF在低频成分欠拟合，从而NeRF过度拟合高频 伪影。之前的研究采用了频率退火策略，引导NeRF先充分探索低频成分。

由此观之，从SfM初始化开始可以理解为遵循了类似的过程（SfM提供了低频成分）。

3.2 3DGS 中的密集随机初始化

对于无法从SfM获取初始化点云的情况，原始3DGS提出了一种密集-小方差（DSV）随机初始化方法。他们在一个三倍于摄像机边界框大小的立方体内随机采样密集点云。由于初始协方差被定义为到三个最近邻近点的平均距离，这就导致了初始化具有小方差的密集3D高斯。

作者在简化的一维回归任务中进行了一次玩具实验，以检验DSV初始化如何影响优化过程。

图3｜分析不同初始化方法的玩具实验©️【深蓝AI】编译

图3展示了作者使用一维高斯集合预测目标分布的玩具实验结果，实验从不同的初始化方法开始。密集小方差（DSV）和密集大方差（DLV）初始化1,000 个一维高斯，其中DLV通过在初始方差上添加s来初始化大方差。稀疏小方差（SLV）初始化15个一维高斯，并在初始方差中添加相同的s。我们可以观察到DSV初始化时高频成分收敛过快，DLV初始化解决了这一问题，但由于波动而无法收敛。SLV初始化解决了这两个问题，首先学习了低频成分，同时也收敛成功地模拟了目标分布。

这些观察结果凸显了以下关键点：

①从更广泛的区域（通过大方差实现）学习是3DGS学习低频成分的必要条件；

②密集初始化仍会导致不稳定和收敛问题。

4. 方法详解

4.1 稀疏-大方差（SLV）初始化

文章提出了一种稀疏-大方差（SLV）初始化方法。稀疏性减少了整个优化过程中的波动，而大方差则确保了初始时对低频分布的关注。由于3DGS的初始协方差是根据三个近邻的距离定义的，稀疏的初始化会导致更大的初始协方差，从而鼓励每个高斯对场景中更广的区域进行建模。在初始化$N$个点时，原始3DGS的DSV初始化最初选择