3DGaussian Splatting阅读笔记

---

1.基本信息

• 题目：3D Gaussian Splatting for Real-Time Radiance Field Rendering用于实时辐射场渲染的三维高斯飞溅
• 发表：2023.8 SIGGRAPH 2023
• 机构：Inria / Université Côte d’Azur / MPI Informatik
• 作者：Bernhard Kerbl等
• 链接直达：github/paper/project
• 关键词：Rendering; Point-based models; Rasterization; Machine learning approaches.
• 概括：本文介绍了一种方法，该方法将三维高斯表示与基于图块的喷射(tile-based splatting)相结合，以实现具有高视觉质量的辐射场的实时渲染
• 主要贡献： 引入各向异性三维高斯作为辐射场的高质量表示。 通过自适应密度控制优化 3D 高斯属性，实现高质量表示。 快速、可微分的 GPU 渲染方法，具有各向异性飞溅和高质量的新视图合成

---

2.理解（个人初步理解，随时会修改）

1. 简要概括：一种新的通过多视角图像进行三维重建，渲染新视角的方法
2. 详细理解：通过3D Gaussian来进行三维表示，然后通过可微渲染得到二维图像，利用梯度下降来优化每个3D Gaussian的参数，最终得到一个和三维物体相符合的3D Gaussian。最重要的点在于速度变快了，这是因为不像NeRF一样，需要每条线都采样点然后进行训练，3DGS只有有用的点参与到过程中；另外使用CUDA编写了一部分代码，tile-based的光栅化方式也充分利用了GPU特性。
   
3. pipeline：输入一系列多视角图像，没有相机位姿信息，先通过sfm获得相机内外参，获得初始点云，文中用的是COLMAP软件。每个点云可以视作一个3D Gaussian，然后将3D Gaussian投影到二维图像上，通过可微渲染得到Image，然后和真实image求loss，反向传播，更新参数。Adaptive Density Control是用来自适应控制3D Gaussian数量的。

4. 3D Gaussian是什么：一维高斯分布是一条无穷长的线上分布很多点，中间分布密，两边分布稀疏。二维高斯分布是一个无穷大的面上，可以理解成中间一个椭圆形，中间分布密，周围分布稀疏。三维高斯就是一个无穷大的空间上，文章中采用3$\sigma$原则，只认为在这之内有点，其他的都不要了，所以3D Gaussian可以近似为一个椭球形。

5. 和NeRF一样，图形学传统技术+可微分的渲染，从而能够使用神经网络进行优化

6. 达到的效果：训练和渲染速度相比NeRF来说有很大提升。可以做到实时渲染。

---

3.方法原理

3.0 前置知识
sfm，球谐函数，三维高斯分布，光栅化
3.1 待补充
三维高斯向二维平面如何投影
如何可微渲染，光栅化
反向传播细节
球谐函数怎么表示颜色的

相关资料

1. https://github.com/MrNeRF/awesome-3D-gaussian-splatting?tab=readme-ov-file
2. 【论文分享-3D Gaussian Splatting for Real-Time Radiance Field Rendering】 https://www.bilibili.com/video/BV1dC4y1c7R8/?share_source=copy_web&vd_source=04d3ee2d3651d4c5baf2fc4ec7c61a79