学习笔记之——2D Gaussian Splatting（2DGS）

gwpscut

已于 2024-05-30 16:23:30 修改

阅读量1.5w

点赞数 50

分类专栏： 3D Gaussian Splatting (3DGS) 文章标签： SLAM 3DGS

于 2024-05-28 15:53:01 首次发布

本文链接：https://blog.csdn.net/gwplovekimi/article/details/139115674

版权

3DGS在辐射场重建中取得了巨大的成就，实现高质量的新视图合成和快速渲染。最近新出了3DGS的升级版本，2DGS。写下本博文记录本人学习及测试2DGS的过程，本博文仅为本人学习记录用~

原理解读

由于3D 高斯在多视角下的不一致性，使得它在surface reconstruction中效果不佳。为此，作者提出用2D平面高斯圆盘（2D oriented planar Gaussian disks）来表征三维单元。2DGS通过采用surfels的表达方式，并使用针对surfels的投影方法较好地保证了多视角一致性。通过ray-splat intersection和 rasterization实现2D高斯的渲染。进一步的，通过在loss中引入depth distortion and normal consistency提高了重建几何的质量，而不能单单只靠RGB的loss。

从motivation来看，应该就是3D高斯难以处理复杂的几何形状下的重建，特别是平面会有比较多的noise（这点之前大量的实验也可观察到，也确实3D高斯球叠加一起的平面肯定有些棱角之类的noise）。对于3D高斯而言，对于相邻高斯球交汇处，不同的视角会有不同的渲染值/深度值（3DGS evaluates a Gaussian’s value at the intersection between a pixel ray and a 3D Gaussian, which leads to inconsistency depth when rendered from different viewpoints.）

而采用2D 高斯，也就是类似于Mesh或者surfels差不多的平面来构建的话，可以交换的拟合复杂的平面。

什么是surfels?

Surfels approximate the object surface locally with shape and shade attributes, and can be derived from known geometry.

Surfels（surface elements）是体积渲染文献中的“表面元素”或“表面体素”。其他人将其描述为零维n元组，其形状和阴影属性局部近似于对象表面。对象可以由一组密集的点（表面）表示，这些点（表面）保存照明信息。

A surfel, that is, a point structure representing Euclidean xyz coordinates, together with normal coordinates, a RGBA color, a radius, a confidence value and the surface curvature estimate.

其表达如下：

基于surfels的方法基本上都需要几何的GT、深度信息或者在光照已知的场景下才能运行。而2DGS将其结合起来。2DGS采用了扁平的基元（2D高斯，oriented elliptical disk）对3D场景进行表示，2DGS的基元辐射场垂直于其法线，使其可以更好地贴合场景表面。

2DGS与3DGS的区别

关于3DGS的原理，此处就不再阐述了，请见博客：学习笔记之——3D Gaussian Splatting及其在SLAM与自动驾驶上的应用调研_3d gaussian splatting slam-CSDN博客

虽然3DGS取得巨大的成就，但是由于3D 高斯在多视角下的不一致性，使得它在surface reconstruction中效果不佳。而2D高斯则是多视觉一致性强。而2DGS使用2D的圆盘来表示场景，这使得2DGS与3DGS相比能够表达精确的表面几何。3DGS通过像素发出的光线束和3D Gaussian之间的交平面来计算投影到像平面的高斯值，这在不同视点进行渲染时会导致得到不同的depth（因此depth sort的结果也会不连续）。2DGS使用ray-splat来得到准确连续的投影结果，大大提高了几何的质量。如下图所示。对于3DGS而言，不同的视角，其对应的是不同的交互平面（Intersection Plane），但是对于2DGS，都是相同的平面，因此多视角一致性较强~