标题:3D Gaussian Splatting for Real-Time Radiance Field Rendering
作者:Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler和George Drettakis,来自法国Inria、Université Côte d'Azur和德国Max-Planck-Institut für Informatik。
发表时间:2023年8月,ACM Transactions on Graphics上,卷号42,编号4
摘要
提出了一种名为3D Gaussian Splatting的新方法,用于实时辐射场渲染,这种方法可以在只需要很少的优化时间的同时,实现与之前方法相当甚至更好的视觉质量。
本文提出的3D Gaussian场景表示方法,结合了实时可微分渲染器,显著提高了场景优化和新视角合成的速度。
实验表明,在与InstantNGP(Müller et al., 2022)相同的训练时间下,该方法可以达到相似的视觉质量,甚至在某些情况下超过了Mip-NeRF360(Barron et al., 2022)。
此外,本文还提出了三个关键元素以实现最新的实时、高质量辐射场渲染:
- 首先,采用了一个点云派生的摄像机校准,通过连续的体积路径追踪来优化场景的3D Gaussian表示;
- 其次,设计了一种稳定的感知优化/密度控制算法来控制3D Gaussians,明显改善了渲染的优化和一致性;
- 最后,开发了一种灵活的感知渲染算法,支持动态视点和场景元素变化,可以实现良好的实时渲染质量和实时渲染速度。
关键词
新型视觉合成、辐射场、3D Gaussians、实时渲染
引言
引言部分首先指出,尽管使用如NeRF方法能够在几个小时内达到视觉上令人满意的结果,但是在达到最佳视觉质量方面,例如使用Mip-NeRF360方法,通常需要更长的优化时间。而本文提出的3D Gaussian Splatting方法在较短的训练时间内就能够实现快速但较低质量的辐射场方法,且在实时渲染性能方面有所提升。
本文强调了3D Gaussian作为一种灵活而表现力丰富的场景表示方法,并指出通过结构化光动作(Structured Motion, SM)校准的相机与Structure-from-Motion生成的点云相结合,可以作为场景表示的一部分。本文提出的实时渲染方法使用最新的GPU来提升3D Gaussian的优化和新视角合成速度。该方法的关键元素包括:
- 引入各向异性3D Gaussian作为高质量、紧凑、无结构和精确的场景表示方法。
- 一个优化3D Gaussian属性的方法,例如形状、光度和方向,通过连续的体积路径追踪来优化它们的表示,并且可以适应GPU。
- 一个快速、可见性感知的传播算法,允许各向异性的splatting和快速反向传播,以及通过跟踪场景遍历来实现排序和遮挡处理。
Related Work
-
传统场景重建与渲染:早期的新视角合成算法基于光场和结构光扫描,通过捕获照片集合来合成新视角图像。随后提到了体积渲染和基于模型的连续体积路径追踪等技术,并指出这些技术在过去几年中有了显著的改进。
-
神经渲染与辐射场:这部