论文笔记：Automated 3D Face Reconstruction from Multiple Images using Quality Measures(CVPR2016)

选择动机

这篇论文在众多顶会参考文献中均有出现的，作者中也有一个非常眼熟的大佬。当初选择这篇文章，一是想看一下他是如何解决 multi-image 人脸三维重建问题的，二是想探索一下其中的损失函数设计。

解决什么问题

从二维图像中重建三维人脸，会因为姿势、光线、遮挡、表情等情况带来一定的难度。这篇论文的出发点是：从一个人的多张人脸图像中重建出此目标人脸的三维形状。除此之外，这篇论文的侧重点在于人脸重建质量的一些评估方法。

方法

解决方案比较通俗易懂：对每张人脸图像都进行一次三维重建，在其中选择一定数量可信度较高的结果，以分区的方式按照权重进行结合，从而得到该个体的三维重建结果。

首先是三维人脸的表示方式，仍然是选择使用3DMM思想进行表示。其中，形状和纹理选择100维(m=100)，表情选择4维(p=4)且主要关注嘴巴部分的变化。

其次，对于重建结果与输入之间的损失计算也很重要。式子(2)展示的是直接在重建结果和输入图像之间计算距离，这样容易过拟合。在后续加上正则项，如式子(3)所示，实在形状参数、纹理参数、表情参数及相机参数上增加 Mahalanobis 距离约束，分母$\sigma$均为标准差。

重建质量评估

这一部分才是这篇论文的重点。在这一部分，除了图像距离部分，其他计算都排除了表情的影响。

图像距离

见式子(2)。此损失是在输入图像与重建结果之间进行惩罚。此损失无法捕捉一些面部小细节。

Mahalanobis Distance

此损失函数计算的是当前结果与平均形状之间的差异。此部分只计算形状，是因为相比而言，纹理和表情的重建结果与平均情况相差会较大。

Euclidean Distance

仍然是在形状之间计算距离。注意此处是不考虑表情，即均为无表情状态(如果重建的本身就有表情该怎么办？)。

Normal Distance

这部分是在平均人脸形状和重建结果之间计算。此部分结合人脸分区情况进行计算，即在四个分区内分别进行 normal 损失计算并合并。


考虑到人脸鼻子、嘴巴、眼睛部分的法线彼此间差异较大，在式子(7)的基础上添加一个权重map。

结果

在实验部分，作者通过多组对比试验证明采用法向量的损失函数，重建出来的人脸更具说服力。

总结

虽然这篇文章最终采用的是法向量的损失计算，但是在实验过程中还是要结合自身的情况进行选择，而这篇文章为我们拓展了损失函数设计方面的内容，可以在实践中进行对比验证。