[CVPR2018]Extreme 3D Face Reconstruction: Seeing Through Occlusions

标题：Extreme 3D Face Reconstruction: Seeing Through Occlusions

旧标题：Extreme 3D Face Reconstruction: Looking Past Occlusions

链接：https://arxiv.org/pdf/1712.05083

这篇文章提供了一种非端到端的3D人脸重建方式，且可以处理局部遮挡问题。文章的主要思路就是通过3DMM预测出一个大概的3D人脸形状。然后用预测出面部凹凸贴图从而提供局部细节。最后为了处理遮挡问题，使用了相似脸补全和弱对称约束。

如图所示，文章中主要分为四个大块：

1. 使用3DMM模型预测全局3D形状（sec.3）

这里作者使用的是CNN3DMM中提供的模型，直接端到端的回归3DMM的参数

2. 端到端的预测面部凹凸贴图（sec.4.1）

这里作者直接使用了image translation中的模型结构，即输入2D图像，输出深度图。但由于没有现成的数据库用来训练这个模型，因此作者使用了最新的SFS模型，即RGBD-fusion来预测VGG set中的人脸深度图，从而用于训练之前提到的image translation网络。有了深度信息和基础3D形状后就可以很简单的得到凹凸贴图了。

3. 使用相似脸进行遮挡补全（sec.4.2）

这里作者使用现有的人脸识别模型对VGG set中无遮挡的人脸做提取了深度特征构建出一个深度特征库。然后使用同样的模型也提取遮挡的脸的深度特征，之后从特征库中寻找特征最相似的那个脸作为reference，进行遮挡补全。

4. 使用弱对称约束进行遮挡补全（sec.4.3）

这里作者先将3D脸给摆正，然后对人脸做了对称性约束。