论文笔记：HUGS

创新点：

1.实现嵌入场景中的人类的表达。（对场景和人类都重建）

2.提出了一个变形模型，包括：1）在标准空间预测人类高斯的均值、旋转、缩放来适应身体形状；2）在姿势变形时预测LBS权重（顶点变换）。

人类高斯变形模型：

以SMPL顶点初始高斯均值(中心)，在该三维坐标进行插值计算，得到三个特征向量,,。特征向量作为输入，通过3个MLP。

1.外观MLP：

输出第i个高斯的RGB和不透明度；

2.几何MLP：

输出中心位置的偏移量、旋转矩阵、三轴的缩放；

3.变形MLP：

输出该高斯的LBS权重；

应用L2损失，确保预测的LBS权重与从SMPL获得的一致：

最终的损失函数：前三个由渲染图像与真实图像比较得到。

人类和场景高斯联合：

使用给定的关节配置对标准姿势的人类高斯进行处理，再与场景高斯结合splat。场景高斯由COLMAP的sfm点云初始化的。

Conclusion and Limitations

训练集：NeuMan、ZJU_MoCap

这是一种通过将可变形模型引入高斯 Splatting 框架来合成嵌入场景中的人体的新视图和新姿势的新方法。HUGS比NeuMan、Vid2avatar快很多，并且渲染质量指标PSNR、SSIM 和 LPIPS也被提高。

未来工作：1.无法捕捉宽松服装变形——对非线性服装变形建模；

2.通过使用 GNARF和 AG3D等生成方法先学习人体姿势的外观，或通过从图像扩散模型中提取。