超越基准 | 基于每个高斯变形的3D高斯溅射方法及其高效训练策略

作者：Jeongmin Bae | 编辑3DCV
添加微信：dddvision，备注：3DGS，拉你入群。文末附行业细分群

题目：Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting
作者：Jeongmin Bae等
代码：https://jeongminb.github.io/e-d3dgs/
论文链接：https://arxiv.org/abs/2404.03613

1 引言

由于3DGS提供了快速、高质量的新颖视图合成，因此将规范的 3DGS 变形为多个帧是一种自然的扩展。然而，以往的作品未能准确重建动态场景，特别是1）静态部分沿着附近的动态部分移动，以及2）一些动态区域模糊不清。我们将失败归因于变形场的错误设计，变形场是作为基于坐标的函数构建的。这种方法是有问题的，因为 3DGS 是以高斯为中心的多个场的混合体，而不仅仅是一个基于坐标的框架。为了解决这个问题，我们将变形定义为每高斯嵌入和时间嵌入的函数。此外，我们将变形分解为粗变形和细变形，以分别模拟慢速和快速运动。此外，我们还引入了一种高效的培训策略，以实现更快的收敛和更高的质量。

2 主要贡献

1. 为每个高斯分配一个潜在嵌入，用于预测其变形ÿ