打败一切NeRF！3D高斯论文大盘点

几个月内超越NeRF的3D Gaussian Spaltting成为计算机视觉的大热方向，而现在有个新的开创性研究，在VR里实时控制3D高斯泼溅生成的物体，距离真正实现又前进了一大步。

为了让大家跟上AI日新月异的发展脚步，我盘点了最新的3D高斯论文+综述【附PDF】，希望对大家的学习有所帮助。

加课程回复“3D高斯”

领取论文合集  

01 3DGS综述：A Survey on 3D Gaussian Splatting

深入探讨了3D GS背后的基本原理和驱动力

简述：对3D GS技术的最新进展和关键贡献进行了系统的概述。文中深入探讨了3D GS背后的基本原理和驱动力，以帮助读者更好地理解这一技术的重要性。文章聚焦于3D GS在实际应用中的可行性，包括其在实时性能方面的优势。

02 3D Gaussian Splatting for Real-Time Radiance Field Rendering

用于实时辐射场渲染的3D高斯溅射

SIGGRAPH 2023 best paper，3D高斯开山作

简述：目前合成技术的方法，要么需要昂贵的神经网络进行训练和渲染，要么牺牲速度以换取质量。作者提出了三个关键元素来实现高质量的实时渲染：使用3D高斯表示场景，优化各向异性协方差以准确表示场景，并开发快速的可见性感知渲染算法。

03 Segment Any 3D Gaussians

分割一切「3D高斯」版

简述：论文介绍了一种新的3D交互式分割方法——Segment Any 3D GAussians（SAGA），它无缝融合了基于2D分割的基础模型和最近在辐射场中取得突破的3D高斯散射（3DGS）。SAGA通过精心设计的对比训练将基础模型生成的多粒度2D分割结果高效地嵌入到3D高斯点特征中。并且相对于先前的SOTA实现了近1000倍的加速。

04 Mip-Splatting: Alias-free 3D Gaussian Splatting 

无别名的3D高斯溅射

简述：3D高斯散射在新的视图合成方面达到了高保真度和高效率。然而，当改变采样率时会出现明显的伪影。作者发现这种现象的主要原因是缺乏3D频率约束和使用2D膨胀滤波器。为了解决这个问题，作者引入了一个3D平滑滤波器，根据输入视图引起的最大采样频率来限制3D高斯原语的大小，从而消除缩放时的高频伪影。

05 Splatter Image: Ultra-Fast Single-View 3D Reconstruction

超快速单视图3D重建

简述：论文介绍了Splatter Image，一种超快速的单视图3D重建方法，运行速度为38 FPS。该方法基于高斯溅射，将输入图像映射为每个像素的一个3D高斯，生成的图像称为Splatter Image。该方法使用2D图像到图像网络进行学习，并在测试时只需要前向评估神经网络即可进行重建。

06 PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

用于生成动力学的物理集成3D高斯分布

简述：论文介绍了PhysGaussian，一种将基于物理的牛顿动力学无缝集成到3D高斯分布中的方法，以实现高质量的新运动合成。该方法使用自定义的物质点方法（MPM），通过连续力学原理对3D高斯核进行丰富的物理有意义的运动变形和机械应力属性。

因篇幅限制，仅展示前6篇论文介绍，领取全部论文合集+代码：

扫码回复“3D高斯”

领取论文合集  

另外我还邀请了顶会审稿人Simon老师开了一场Gaussian·Splatting的前沿直播课，时间是2月28日晚20：00点，直播主题是《NeRE 和 Gaussian·Splatting在三维计算机视觉中的应用》。

直播课内容：

一.传统的三维表达方法的简要回顾

• 点云、体素、表面网格的概念

• 传统表示方法的局限性，以及引入新式表达方法的动机与准则

二.当前的主流三维表达方法

• 符号距离函数

• 辐射神经场

• 三维高斯泼溅

• 发展脉络总结和预测

三.应用工作和未来的研究点

• 机器人导航:与 SLAM 等问题的结合

• 数字人建模:与动态场景/物体表达的结合

• 场景理解:与大语言模型(视觉语言模型)的结合

0.01元预约2月28日直播课

加课程进交流群学习交流最新技术