论文笔记：SplatArmor

创新点：

1.把人体模型的蒙皮变形从SMPL顶点扩展到标准空间的任意位置。

2.SE(3) field 捕获高斯分布的位置和各向异性。（非刚性变形）

3.不优化每个高斯颜色，而提出神经颜色场隐式正则附近高斯的颜色并且为高斯均值提供3D监督。

4.初始化高斯使用MSB提出的方法。

Compare to NeRF-for-human:

• Splatting比NeRF的光线追踪快得多。
• NeRF大多会执行反向蒙皮变形以进行规范化，由于射线上的点位于观察空间，会产生模糊的多重解。高斯splatting则是正向蒙皮变换。
• 高斯不同于网格，不受拓扑约束。

问题表述：

给定一组图像和对应的前景mask、对应的SMPL姿势参数以及初始SMPL形状参数。

恢复SMPL形状参数，每顶点的变形D，每帧的身体姿态和相机外参，以及一组高斯函数。

3D 高斯位于规范空间转换到观察空间以跨帧渲染主体。

扩展蒙皮到任意位置：

对SMPL顶点的蒙皮变换：

扩展到任意位置的点：

这样实现对规范空间中任意高斯的刚性运动建模。

非刚性变形：

对变形到姿势空间的高斯，再一次仿射变换。仿射变换的变换矩阵和平移向量通过MLP预测：

输入的是位置编码和姿态特征(SMPL模型使用的，因为姿态参数与空间坐标都有低频偏差。)

神经颜色场：

本来是为每个高斯独立地分配球谐系数（颜色）。但对于结合姿势联合优化的动态场景，每高斯颜色可能过度拟合训练帧，导致虚假纹理伪影。

因此将高斯颜色建模为由 MLP 表示的神经颜色场：

初始化高斯：

恢复粗糙的 SMPL+D （每个顶点的偏移矩阵 D）网格和每个面的颜色。

来源：（可以提供快速的人体模型表面点的初始化）

Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos

从这个粗略优化的网格的表面采样 20000 个点，并将相关的面颜色作为高斯分布。采样的位置和颜色对用于通过监督学习来训练神经颜色场。