3D Gaussian Splatting：实时神经辐射场渲染

#简要总结论文"3D Gaussian Splatting for Real-Time Radiance Field Rendering"

#适用于和本人一样的非相关领域研究人员，对3D gaussian splatting的简要了解

1. 简介:

• 背景: 论文讨论了辐射场（Radiance Field）实时渲染的问题，该技术用于从多视图照片或视频中生成新视角的3D场景。
• 问题: 传统的神经辐射场（NeRF）方法需要大量的训练和计算资源，使得在高质量下实现实时渲染变得困难。
• 目标: 论文提出了一种新颖的3D高斯场景表示方法，结合快速渲染技术，实现了高质量的实时辐射场渲染，适用于复杂场景。

2. 主要贡献:

• 3D高斯表示: 作者提出用3D高斯来表示场景，这些高斯可以捕捉辐射场的连续体积特性，同时减少在空白空间中的不必要计算。
• 优化与密度控制: 引入了一个交替过程，优化3D高斯的属性（位置、协方差、透明度），并自适应地控制其密度，以改善场景的表示。
• 快速渲染算法: 开发了一种新的渲染算法，该算法能够识别可见性并支持各向异性溅射（anisotropic splatting），从而实现实时性能。

3. 方法:

• 场景表示: 从相机校准过程中获得的稀疏点出发，用3D高斯来表示场景。这些高斯通过迭代优化，准确地表现场景的几何形状和外观。
• 优化过程: 通过梯度下降法优化3D高斯参数，同时通过增加或移除高斯点的密度控制步骤，动态调整场景的表现。
• 渲染过程: 基于瓦片（tile-based）的方法，对高斯点进行排序和混合，生成最终图像，从而实现实时性能。

4. 结果与评估:

• 性能: 提出的方法在视觉质量上达到了最先进的水平，同时相比其他方法（如Mip-NeRF360），训练时间大幅缩短。此外，它还支持1080p分辨率下的实时渲染，这是其他方法难以实现的。
• 对比: 论文将结果与现有的方法（如InstantNGP和Plenoxels）进行对比，显示在质量和速度上均具有竞争力甚至更优。
• 消融实验: 论文进行了消融实验，测试了方法中不同组件的影响，如各向异性协方差和球谐函数（spherical harmonics）的使用，确认了它们对最终性能的重要性。

5. 局限性:

• 在训练视图未充分覆盖的区域，该方法可能会产生伪影，渲染输出中偶尔会出现拉长或斑点状的高斯点。此外，该方法在训练期间的内存消耗相对较高。

6. 结论:

• 作者展示了他们的方法能够在保持最高质量的同时，实现真正的实时辐射场渲染，并且其训练时间与最快的现有方法相竞争，为3D场景渲染领域带来了显著的进步。