[ECCV2020]Inequality-Constrained and Robust 3D Face Model Fitting

标题：Inequality-Constrained and Robust 3D Face Model Fitting

链接：Inequality-Constrained and Robust 3D Face Model Fitting - PMC

本文提出了一种通过不等式约束来让3DMM模型更好的拟合到2D图像的方法。

作者提出的方法不需要训练，可以直接通过计算得到结果，并且在野外数据集上效果与深度学习方法相当，在有ground truth的数据集上效果超越了基于深度学习的方法。

现如今拟合3DMM主要就是两种方法，一种是基于unconstrained pseudo-second-order (PSO) 的优化方法，即直接推理参数基于PCA降维后的结果。但问题是在参数偏离中心值太大（三个标准差以上）的时候会难以预测。因此有人提出加入一个L2约束项，但这又会使得结果过于平滑，丢失个人特征。

而第二种方式就是基于深度学习的，而深度学习事实上也倾向于生成平滑的人脸，而且由于模型是固定的，因此无法很方便的改变（比如改变输入图像尺寸，改变输入图像的张数）。

这篇文章提出的方案就是基于不等式约束的，作者认为3DMM中参数的分布应该处于一个合理的范围，也即3个标准差以内，因此作者凭借这一点对所有的参数做了不等式约束，然后通过GC（Gradient correlation）来构建优化方程，作者认为GC对于光照变化和遮挡都是鲁棒的。为了构建GC方程，首先需要计算输入图像和渲染结果的magnitude-normalized gradient，这是通过当前像素与上下左右像素计算相对差值（具体公式看原论文，求出来的就是一个类似方向向量的玩意）而得到的。最后最大化输入图像和渲染结果的magnitude-normalized gradient的乘积即可完成参数的拟合。

为了优化上述的式子（最大化那个乘积），作者用到了IPOPT这个方法，说是只需要原方程的微分方程和雅可比矩阵就可以了，具体计算过程看论文，咱也没太看懂。。。