项目:3D Gaussian Splatting for Real-Time Radiance Field Rendering
功能:拍摄一段视频或多张图片,可以重建3维场景并能实时渲染。
优点:质量高、速度快。
缺点:占用存储和显存大。
原理:输入一组静态图片,由sfm得到稀疏点云,从稀疏点云初始化成3D高斯函数集合,由于3D到2D投影的模糊性,几何体可能会被错误地放置,因此需要训练优化得到更准确的3D高斯函数,最后使用GPU快速的光栅化器渲染结果。
训练步骤:
- 使用可微分高斯光栅化将高斯光栅化为图像(稍后详细介绍)
- 根据光栅化图像和地面真实图像之间的差异计算损失
- 根据损失调整高斯参数
- 应用自动致密化和修剪