论文笔记：3DGS-Avatar

3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting
3DGS-Avatar：通过可变形 3D 高斯溅射实现动画化身

目录

问题表述：

创新点：

初始化高斯：

变形分解——依赖于姿势的非刚性形变+人类关节驱动的刚性变换：

依赖姿势的非刚性变形：

关节驱动的刚性变换：

颜色MLP：

新增损失函数：

训练过程：

问题表述：

给定一个带有跟踪骨架和前景蒙版的动态人体短序列，30 分钟内在单个 GPU 上创建一个人体化身，支持超过 50 FPS 的动画和新颖的视图合成。

创新点：

1.结合非刚性形变

2.MLP预测颜色

3.尽可能等距正则化约束高斯均值和协方差

初始化高斯：

在规范姿态下随机采样 SMPL 网格表面上的 N = 50k 个点，作为规范 3D 高斯 {Gc} 的初始化。

变形分解——依赖于姿势的非刚性形变+人类关节驱动的刚性变换：

依赖姿势的非刚性变形：

MLP具有 2 个隐藏层、宽度为 128。

多级哈希编码：

（待补充）

关节驱动的刚性变换：

位置和旋转矩阵变为：

颜色MLP：

高斯颜色如果通过球谐函数计算：

这种方法不适合单目视频，由于训练期间仅提供一个摄像机视图，因此世界空间中的观看方向是固定的，导致对未见过的测试视图的泛化性较差。

使用正向变换矩阵T规范高斯方向：

使用神经网络建模高斯颜色：

新增损失函数：

限制相邻的3D高斯中心，以在变形后保持相似的距离。

尽可能等距约束：（来源：dynamic point fields）

进一步增加对协方差的约束：

完整损失函数还包括RGB loss和mask loss。

训练过程：

在前 1k 次迭代中，我们冻结除前向蒙皮网络 fθr 之外的所有内容，以使用 Lskin 学习粗略蒙皮场，并防止噪声梯度将 3D 高斯函数移离初始化。然后，我们在 1k 步骤后启用 3D 高斯函数的优化。为了解耦刚性和非刚性运动，我们在 3k 次迭代后开始优化非刚性变形网络 fθnr。最后，我们在 5k 次迭代后打开姿势校正。