1.基本信息
- 题目:3D Gaussian Splatting for Real-Time Radiance Field Rendering用于实时辐射场渲染的三维高斯飞溅
- 发表:2023.8 SIGGRAPH 2023
- 机构:Inria / Université Côte d’Azur / MPI Informatik
- 作者:Bernhard Kerbl等
- 链接直达:github/paper/project
- 关键词:Rendering; Point-based models; Rasterization; Machine learning approaches.
- 概括:本文介绍了一种方法,该方法将三维高斯表示与基于图块的喷射(tile-based splatting)相结合,以实现具有高视觉质量的辐射场的实时渲染
- 主要贡献: 引入各向异性三维高斯作为辐射场的高质量表示。 通过自适应密度控制优化 3D 高斯属性,实现高质量表示。 快速、可微分的 GPU 渲染方法,具有各向异性飞溅和高质量的新视图合成
2.理解(个人初步理解,随时会修改)
- 简要概括:一种新的通过多视角图像进行三维重建,渲染新视角的方法
- 详细理解:通过3D Gaussian来进行三维表示,然后通过可微渲染得到二维图像,利用梯度下降来优化每个3D Gaussian的参数,最终得到一个和三维物体相符合的3D Gaussian。最重要的点在于速度变快了,这是因为不像NeRF一样,需要每条线都采样点然后进行训练,3DGS只有有用的点参与到过程中;另外使用CUDA编写了一部分代码,tile-based的光栅化方式也充分利用了GPU特性。
- pipeline:输入一系列多视角图像,没有相机位姿信息,先通过sfm获得相机内外参,获得初始点云,文中用的是COLMAP软件。每个点云可以视作一个3D Gaussian,然后将3D Gaussian投影到二维图像上,通过可微渲染得到Image,然后和真实image求loss,反向传播,更新参数。Adaptive Density Control是用来自适应控制3D Gaussian数量的。
-
3D Gaussian是什么:一维高斯分布是一条无穷长的线上分布很多点,中间分布密,两边分布稀疏。二维高斯分布是一个无穷大的面上,可以理解成中间一个椭圆形,中间分布密,周围分布稀疏。三维高斯就是一个无穷大的空间上,文章中采用3 σ \sigma σ原则,只认为在这之内有点,其他的都不要了,所以3D Gaussian可以近似为一个椭球形。
-
和NeRF一样,图形学传统技术+可微分的渲染,从而能够使用神经网络进行优化
-
达到的效果:训练和渲染速度相比NeRF来说有很大提升。可以做到实时渲染。
3.方法原理
3.0 前置知识
sfm,球谐函数,三维高斯分布,光栅化
3.1 待补充
三维高斯向二维平面如何投影
如何可微渲染,光栅化
反向传播细节
球谐函数怎么表示颜色的
相关资料
- https://github.com/MrNeRF/awesome-3D-gaussian-splatting?tab=readme-ov-file
- 【论文分享-3D Gaussian Splatting for Real-Time Radiance Field Rendering】 https://www.bilibili.com/video/BV1dC4y1c7R8/?share_source=copy_web&vd_source=04d3ee2d3651d4c5baf2fc4ec7c61a79