[TOG2018]High-Fidelity Facial Reflectance and Geometry Inference From an Unconstrained Image

标题：High-Fidelity Facial Reflectance and Geometry Inference From an Unconstrained Image

链接：https://dl.acm.org/doi/pdf/10.1145/3197517.3201364?casa_token=mGMLOXF_788AAAAA:izYBUMKM-5JhRxcJz2JonobfSSPKGt3Bwra5_dasFzorpjdpqfZCnLcio4vKZHQk8D_BVf1rEVw

这篇文章的目的是从单张2D图片恢复出精细的3D建模。

流程图如下所示：

流程分为四个步骤：

1.使用两个独立的网络分别预测面部的形状（基于3DMM）和纹理

2.使用深度补全网络将生成的纹理图中确实的部分补齐

3.使用一个优化网络进一步优化纹理图

4.使用超分辨率网络来提高纹理图的分辨率，从而获得更精细的面部细节

最后就可以组合纹理和形状得到最后的面部重建了。

需要说明的是，这个流程中的每个步骤都是独立训练的，并且都分别有自己的ground truth

细节：

形状的预测不必多说，就是拟合面部形状参数即可（不确定文中有没有mesh的ground truth，不过就算没有，也能拟合就是了）

然后就是纹理的生成了，如下图所示：

作者提到，如果直接用一个网络端到端的完成纹理图的生成会导致效果大大下降，因此他就把这个分为几个步骤来训练

在第一步预测纹理图的时候，作者是直接使用现有的语义分割网络将面部区域抠出来，然后作为ground truth来训练，得到了一个有残缺的纹理图。

然后第二步就是纹理补全，作者尝试先将像素从512*512缩小到128*128做补全，然后将预测图做上采样，与原始的残缺纹理图一起来预测512*512的纹理图。然后作者还考虑到脸的对称性，因此还将原始残缺的面部特征图做了个翻转拼接，来利用面部对称性帮助模型收敛。

第三步就是用了现有的超分辨率网络做了个超分辨率，从512*512提高到2048*2048