High-Fidelity Pose and Expression Normalization for Face Recognition in the Wild

CVPR 2015 Matlab code
http://www.cbsr.ia.ac.cn/users/xiangyuzhu/projects/HPEN/main.htm

中科院关于 人脸图像预处理：姿态和表情的归一化

算法的整体流程图如下所示：

2 Pose Adaptive 3DMM Fitting

2.1. 3D Morphable Model
本文采用3D模型，我们将 Basel Face Model (BFM) [36] 和 表示表情的Face Warehouse [14]结合起来，得到我们自己的 3DMM（3DMorphableModel）。
我们通过一个 Weak Perspective Projection 将3D模型投影到 图像平面，通过优化下面的公式：

2.2. Landmark Marching
一般来说首先是进行人脸的特征点检测，然后将这些特征点与对应的3D模型建立映射关系。但是有一个问题，就是有一部分特征点被遮挡了，导致不能准确的建立映射关系。如下图所示：

本文提出了一个解决方法：landmark marching。
When pose changes, if a contour landmark is visible, it will not move; or it will move along the parallel to the visibility boundary

3 Identity Preserving Normalization
扩展到人脸周边区域，得到更完整的信息

锚点微调

看不见的区域填充

还原背景

结果