[CVPR2018]Nonlinear 3D Face Morphable Model

标题：Nonlinear 3D Face Morphable Model
链接：https://openaccess.thecvf.com/content_cvpr_2018/papers/Tran_Nonlinear_3D_Face_CVPR_2018_paper.pdf
本文也是为了解决从2D图像到3D人脸重建的任务
由于有限的数据，线性3DMM拟合往往无法达到非常好的效果。而且人脸的表示其实根本不是线性的，因此本文提出了一种非线性的拟合3DMM模型的方式。

结构如上图所示：
1.给定一张图片，encoder负责学习出三个表示向量：投射向量（相机内参），形状向量和纹理向量
2.用一个MLP组成的形状解码器将形状向量转化成稠密的三维点
3.用一个CNN组成的纹理解码器将纹理向量转化成2D解缠的面部纹理图
4.由可微分的渲染层将得到的信息渲染成2D图并与原始图计算重构损失
5.在训练的一开始的阶段，由于模型生成的3D表示与真实值区别太大，因此需要一些强监督来帮助模型收敛。作者使用了2d landmark做了重构约束，然后还借鉴前人的工作，将3D模型拟合到2D图像上，来产生虚拟的3D ground truth来帮助模型收敛
6.为了渲染出的图像更加真实，作者还加入了一个GAN loss，设计了一个discrimiantor来区分输入样本是渲染成的还是真是的数据。

后续改进版：
On Learning 3D Face Morphable Model from In-the-wild Images