重点:
- 处理超出SMPL顶点的变形
- 无掩码训练,自动分离人和背景
1.初始化
背景——初始化球面上随机点,用i=b标记父类;
人类——使用SMPL生成参数化网格,每个网格面中心作为初始化高斯,并分配好父索引i和表面法线n。
2.变形
(1)根据父级(SMPL顶点)变形。比较给定姿势和标准姿势的网格,得到顶点变形矩阵Dt,根据该矩阵变形高斯。
(2)MLP对高斯校准。MLP采用高斯 Pi 中心与 SMPL模型的人体关节Jt之间的距离来预测上一步变形的残余细化(变形矩阵Dr)。
3.更新高斯
高斯被更新时,会被变回标准空间,依次应用两个矩阵的逆。当高斯数量增加时,父索引被传递给新的高斯。根据距离,每1000次迭代更新一次父分配。据表面距离远于阈值的高斯分配给背景。