基本的结构还是不变:以SMPL顶点初始化3D高斯->利用SMPL模型中的顶点变换将3D高斯变形到姿势空间->Splatting过程
创新点:
1.在高斯从标准空间转换到姿势空间时,引入三个损失函数约束高斯的变形。(搬用Dynamic 3D Gaussians)
2.两个优化策略:1)把SMPL模型姿势参数加到需要更新的参数中;2)增加点云(3D高斯)的密度——缩放值大于阈值的高斯分裂成两个。
三个损失函数:
由Dynamic 3D Gaussians论文提出。
1)local-rigidity loss Lrigid(局部刚性损失)
表达式:
约束当高斯i变换时,附近的高斯j应该这样移动:
Dynamic 3D Gaussians图
GaussianBody图
2)local-rotation similarity Lrot losses(局部旋转相似度损失)
虽然刚性损失确保高斯 i 和高斯 j 共享相同的旋转,但旋转损失可以增强收敛性,以在两个空间中的相邻高斯之间明确强制执行相同的旋转。表达式:
q 是每个高斯旋转的归一化四元数表示。
3)local-isometry loss(局部等距损失)
前面两个损失在短期执行,可能会导致场景元素偏离,因此长期应用第三种损失。这是一个比刚性损失约束力更弱的损失,因为它不约束两个高斯间的位置,只约束两个高斯间的距离。表达式:
两个优化策略
1)增加高斯
由于是单视角输入,重建点云(3D高斯)可能过于稀疏,导致高斯过大或出现伪影。因此提出,当代表缩放的向量s大于阈值,则将该高斯分解为两个相同的高斯。
2)姿势修正
将 SMPL 姿势参数 θ 指定为优化参数,并在定义的损失的指导下通过优化过程对其进行细化。(没看到具体的)