有关4D Gaussian Splatting论文思想与代码的讨论

x_tao601

已于 2024-02-07 00:08:00 修改

阅读量3.6k

点赞数 33

文章标签： python 视觉检测图像处理人工智能深度学习神经网络 3d

于 2024-02-07 00:01:48 首次发布

本文链接：https://blog.csdn.net/weixin_71780622/article/details/136063893

版权

本文讨论了华中科技大学的研究工作，4DGaussianSplatting，它扩展了3DGS到动态场景重建，利用高斯变形场模型减小体积并加速渲染。文章介绍了模型原理，特别是时空结构编码器和高斯变形解码器的应用。4DGS在处理动态场景生成方面表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对4D Gaussian Splatting论文思想与代码的讨论

一：介绍

此文是对论文4D Gaussian Splatting for Real-Time Dynamic Scene Rendering[1]中的思想与相关代码的简单讨论，其中一些部分是个人浅薄的理解，欢迎有不同看法的读者在评论区留言。这是来自华中科技大学最近关于3DGS领域的一个工作，具体内容见4dgs，主要贡献在于将3DGS引申到了针对动态场景的重建领域，参考了一些动态NeRF领域中HexPlane、K-Planes[2,3]中的思想，创新性地提出了高斯变形场的模型，在减小模型体积的同时提高了模型渲染速度。下面为4DGS模型的主要结构：
在这里插入图片描述

下面分享一下我个人对于这个模型的一些理解：

先从3DGS开始说起，3DGS的作用是建立了一个显式的模型来表示整个3D空间，有点类似点云模型，但是给每个xyz点加上了3DGS特征来表示其所占据的体积，并且使用了不透明度与SH球谐函数来表示该点位置处的不透明度与光照特征，最后使用传统计算机图形学中的splatting方法渲染得到特定观测位置处的二维图像。在这个模型中，每个点的3DGS特征与不透明度还有SH系数均为待优化的变量，在训练过程中使用pytorch的梯度反向传播框架进行优化。3DGS是一个关于3D图像的纯显式的模型，具有很好的可解释性，与NeRF

最低0.47元/天解锁文章