【论文笔记】3D人脸重建_简略版（时时更新中）

20160221

1. Liu F, Zeng D, Li J, et al. Cascaded regressor based 3d face reconstruction from a single arbitrary view image[J]. arXiv preprint arXiv:1509.06161, 2015.

这篇论文使用了回归的方法基于2D人脸图像来进行人脸3D模型的重建。由于基本回归方法，因此也具备了回归方法的优点，效果更好，速度也更快。同时能够处理人脸关键点部分缺失的情况。

根据人脸3D数据库和相对应的2D人脸图片的关键点对应情况，学习了3D重建的回归模型。回归算法采用了普通的回归算法，对于人脸部分关键点由于姿态原因缺失的情况，将关键点的位移偏差统一采用常数（如 0）表示，这样即可处理关键点部分缺失的情况。论文比较了重建的形状结果与其它方法，精度上有所提高，速度也提升至43ms/每张人脸图.

PS: 这篇文章不涉及2D人脸关键点检测，用到的2D人脸关键点都是预先检测好的。

2. Tulyakov S, Sebe N. Regressing a 3d face shape from a single image[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 3748-3755.

它是将人脸关键点检测和3D人脸重建放在一起来完成的，而以往的方法是先做2D人脸的关键点检测，再根据关键点去估计和匹配3D人脸模型。作者说这是第一篇将两者结合的方法，其实ICCV 2015 另一篇文章 Pose-invariant 3d face alignment 也是采用了类似的方法（简介可参考博客 http://blog.csdn.net/shaoxiaohu1/article/details/50525240）。

这篇文章是可以看作是One Millisecond Face Alignment with an Ensemble of Regression Trees的3D版，也就是说检测到的人脸关键点是3D的。在此基础上，作者提出了3D shape feature indexing 用来构造基于树的的回归模型，同时也引入了基于3D模型的姿态估计改进最终的重建精度。作者采用该方法在人脸关键关键点检测和姿态估计上进行了实验，实验证明性能上均比其它方法要好（很奇怪，为什么不直接比较3D重建的结果，却在这两个方面进行比较）。重建速度确实非常快，每张图9ms, 比Pose-invariant 3d face alignment快的多。作者说会放code，暂时还没看到。

PS: * 人脸关键点检测和3D模型的关系越来越紧密了，作者也说基于3D的回归模型越来越普遍。看来以后要在这方法深入研究了。*

20160116

1. Zhu X, Lei Z, Yan J, et al. High-Fidelity Pose and Expression Normalization for Face Recognition in the Wild[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 787-796.

该论文提出了一种基于3D Morphable Model 的姿态和表情正规化的方法，可自动根据不同角度和表情的人脸生成正面角度和正常表情的人脸，从而提高人脸识别率。

首先根据关键点匹配规则建立不同角度下的2D人脸和3D模型的对应关系；建立3D模型，去除角度和表情影响，生成正面、正常表情人脸图；基于Poisson Editting方法恢复脸部由于角度产生的被遮挡区域。