【动态三维重建】Deformable 3D Gaussians 可变形3D GS用于单目动态场景重建（CVPR 2024）

主页：https://ingra14m.github.io/Deformable-Gaussians/
代码：https://github.com/ingra14m/Deformable-3D-Gaussians
论文：https://arxiv.org/abs/2309.13101

---

---

摘要

提示：这里是大概内容：

  隐式神经表示为动态场景重建和渲染的新方法铺平了道路。尽管如此，先进的动态神经渲染方法很大程度依赖这些隐式表示，经常难以捕捉场景中物体的复杂细节。此外，隐式方法在一般动态场景中实现实时渲染，限制了它们在各种任务中的使用。为了解决这一问题，我们提出了一种可变形的三维高斯分布的splatting 方法，该方法使用三维高斯分布来重建场景，并在具有变形场的规范空间中学习它们，以建模单目动态场景。我们还引入了一种没有额外开销的退火平滑训练机制，它可以减轻不准确的姿态对真实世界数据集中时间插值任务的平滑性的影响。通过微分高斯光栅化器，可变形三维高斯不仅获得更高的渲染质量，而且实时渲染速度。实验表明，我们的方法在渲染质量和速度方面都显著优于现有的方法，使其非常适合于新视图合成、时间插值和实时渲染等任务。

一、前言

   从一组输入图像中获得的动态场景的高质量重建和逼真渲染对各种应用都至关重要，包括增强现实/虚拟现实（AR/VR）、3D内容制作和娱乐。以前用于建模这些动态场景的方法在很大程度上依赖于基于网格的表示，如文献[9,14,18,40]的方法所示。然而，这些策略经常面临固有的限制，如缺乏细节和真实性，缺乏语义信息，以及难以适应拓扑变化。随着神经渲染技术的引入，这种范式经历了一个重大的转变。隐式场景表示，特别是由NeRF [28]实现的，在新颖视图合成、场景重建和光分解等任务中显示出了值得称赞的功效。

   为了提高基于NeRF 的静态场景中的推理效率，研究人员开发了多种加速方法，包括基于网格的结构[7,46]和预计算策略[44,52]。值得注意的是，通过合并哈希编码，Instant-NGP[29]已经实现了快速训练。在质量改进方面，MipNeRF [2]率先采用了一种有效的抗混叠方法，后来由ZipNeRF [4]将其纳入到基于网格的方法中。3D-GS [15]最近将基于点的渲染扩展到高效的三维高斯CUDA实现，它可以在匹配甚至超过Mip-NeRF [2]的质量时实现实时渲染。然而，这种方法是为表示静态场景而设计的，其高度定制的CUDA栅格化管道降低了其可伸缩性。

  隐式表示已经被越来越多地用于建模动态场景。 为了处理动态场景中的运动部分，entangled（纠缠) 方法[43,49]将NeRF设置在一个时间变量上。相反，disentangled 解纠缠方法[23,30,31,34,39]通过在给定时间映射到该空间的点坐标来建模规范空间中的场景。这种解耦的建模方法可以有效地表示具有非戏剧性动作变化的场景。然而，无论如何分类，对动态场景采用隐式表示往往被证明是低效和无效的（缓慢的收敛速度，以及明显的过拟合敏感性）。从NeRF加速研究中获得灵感，许多关于动态场景建模的研究已经整合了离散的结构，如体素网格[11,38]，或plane[6,36]。这种集成提高了训练速度和建模精度。然而，挑战仍然存在。 利用离散结构的技术，面临实时渲染和产生足够细节的高质量输出的双重约束问题。 多个方面支撑着这些挑战：首先，射线投射，作为一种渲染模式，经常变得低效，特别是当缩放到更高的分辨率时。其次，基于网格的方法依赖于一个低秩的假设。与静态场景相比，动态场景具有更高的秩，这阻碍了这种方法可达到的质量上限。

  本文扩展了静态三维-gs，提出了一个可变形的三维高斯框架来建模动态场景。为了提高模型的适用性，我们特别关注了单目动态场景的建模。不同于逐帧重建场景，我们 以时间为3D高斯的条件，在正则空间中与可学习的三维高斯联合训练纯隐式变形场。这两个分量的梯度是由一个定制的微分高斯栅格化管道得到的。此外， 为了解决在重构过程中由于不准确的姿态而引起的时间序列抖动，我们采用了退火平滑训练（AST）机制。这种策略不仅提高了时间插值任务中帧之间的平滑性，而且还允许渲染更多的细节

  

二、相关工