[CVPR2019]Towards High-fidelity Nonlinear 3D Face Morphable Model

标题：Towards High-fidelity Nonlinear 3D Face Morphable Model

链接：https://arxiv.org/pdf/1904.04933

本文主要的目的是从2D图像建立更加真实的3D人脸模型。

作者分析之前的模型之所以无法建立非常真实的3D人脸模型的一大原因是对模型加了太多的约束，因此作者考虑使用代理参数来避免这一点。另外，作者还对模型做了全局和局部的区分对待，这进一步加强了模型对细节重建的精度。

这是本文中对于代理参数部分的建模。

首先，那个绿色的epsilon就是一个非线性回归器，用来预测输入图片中的投影矩阵M，光照参数L，形状参数fs和反射率参数fa。其中形状参数和反射率参数会经过各自的编码器编码出对应的代理形状，真实形状，代理反射率 和真实反射率。作者对这些代理参数施加了各种乱七八糟的约束（反射率对称性约束，反射率一致性约束，形状平滑约束），而真实参数则没有这些约束。

由于模型最终提供了2组不同的形状和反射率参数，通过排列组合，我们能得到四个不同的渲染组合，都可以与输入图片做重构损失，分别能帮助模型提升不同方面的性能。但作者偏偏移除掉了真实形状参数和真实反射率参数的这个组合，作者说这是为了避免模型试图同时拟合真实和代理参数而导致两个都学不好。

另外，为了处理人脸的遮挡，作者使用了基于UV图的对称性损失。

这是本文中对于全局和局部的双路模型的建模。

对于全局建模很简单，就是直接做几次上采样，得到全局纹理图就好。

对于局部建模，就是将人脸划分为嘴巴双眼和鼻子，先分别生成，然后通过zero padding合并到图上，合并的位置是基于全局建模的对应位置来放的。

最后再将两个输出的图合并来生成最终的纹理图。