[ICCVw2017]Pix2Face: Direct 3D Face Model Estimation

标题：Pix2Face: Direct 3D Face Model Estimation
链接：https://arxiv.org/pdf/1708.09006
这篇文章解决的是从2D图像到3D人脸的转换，再到3DMM模型的建立。
文章分为三步：
1.从2D图像中学习生成projected normalized coordinate code (PNCC)（也即图像中每个点与“平均脸”上点的对应关系,使用RGB来表示XYZ坐标）和3D offset（也即每个对应点与平均脸的偏移值）。
2.PNCC和3D offset简单相加就可以得到人脸的点云表示
3.PNCC和3D offset还可以用于回归3DMM的参数。

方法：
第一步中用了一个略微修改过的U-net结构端到端的生成两个图。
第二步直接相加就可以得到结果
第三步需要先预估相机内参，使用的是Levenberg-Marquardt optimization algorithm(LM)来不断减小3D投影和2D图像的误差从而估计相机内参。然后再去计算形状和表情参数，这需要通过PNCC先找到平均脸中每个点对应的像素，然后加上offset后计算loss，从而让平均脸越来越像图像中的脸最终获得对应的参数。