3D Gaussian Splatting for Real-Time Radiance Field Rendering 论文阅读

如此热门的项目，网络上有很多大牛分析了这篇文章的做法，在这里简单记录一下个人粗浅的理解。
关于各种数学表达式的推导，论文和参考资料中都提供了较为详细的解读，本人能力有限，这一部分理解不够深刻，先不做记录。

项目主页

3DGS
SIGGRAPH 2023 best paper!

任务

跟NeRF一样，新视图的合成，不过本文实现了用instant-NGP的训练时间得到mipNeRF360的视觉效果，实现了新sota。

动机

目前的辐射场方法实现高视觉质量仍然需要训练和渲染成本高昂的神经网络，速度和质量不可兼得。
对于无界且完整的场景，当前没有方法可以实现高质量的实时新视角合成（>=30fps）。

贡献

1. 用 3D 高斯表示场景，保留连续体积辐射场的所需属性以进行场景优化；
2. 对 3D 高斯进行交错优化/密度控制，特别是优化各向异性协方差以实现场景的准确表示；
3. 开发了一种快速可见性感知渲染算法，该算法支持各向异性扔雪球，既加速训练又允许实时渲染。

Pipeline

系统首先对 SfM 点云进行了初始化，得到 3D 高斯球们，然后借助相机外参将点投影到图像平面上（即Splatting），接着用可微光栅化，渲染得到图像。得到渲染图像Image后，将其与Ground Truth图像比较求loss，并沿蓝色箭头反向传播。蓝色箭头向上，更新3D高斯中的参数，向下送入自适应密度控制中，更新点云。

项目源码

项目主页给出了项目源码地址
我搭建了一下环境，重跑了一下代码，但是我没有特别好的设备，只能保存迭代7000次的结果。
官方给出了环境搭建的教程，我也做了简单记录，有兴趣可以参考3d gaussian-splatting源码运行及结果展示

参考

一文带你入门 3D Gaussian Splatting
【论文讲解】用点云结合3D高斯构建辐射场