caffe 人脸关键点检测_人脸关键点对齐

摘要： 从传统方法到深度学习方法，对人脸关键点定位/人脸对齐的发展进行梳理，对该领域中经典的方法，最新成果进行汇总，并给出相应的paper原文，项目主页及代码链接。重点介绍深度学习的几种最新方法。

1. Conception

人脸关键点定位(Facial landmark localization)： 在人脸检测的基础上，根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等，输入为人脸外观图像，输出为人脸的特征点集合，见下图：

图1. 人脸对齐处理流程

人脸对齐(Facial alignment)： 可以看作在一张人脸图像搜索人脸预先定义的点(也叫人脸形状)，通常从一个粗估计的形状开始，然后通过迭代来细化形状的估计。在搜索的过程中，两种不同的信息被使用，一个是人脸的外观(Appearance) ，另一个是形状(Shape)。形状提供一个搜索空间上的约束条件。

人脸对齐主要将人脸中的 eyes, mouth, nose and chin 检测出来，用特征点标记出来。

人脸对齐是一个中间步骤，首先是人脸检测，然后是人脸对齐，人脸对齐的结果可以用于：

人脸验证， 人脸识别(Face recognition)，属性计算(Attribute computing)，表情识别(Expression recognition)， 姿态估计(Pose Estimation) 等。

实际应用中人脸的不同尺度，姿态，遮挡，光照，复杂表情等对人脸对齐具有较大的挑战性 。

综合考虑传统方法和目前最新进展，从技术实现上可将人脸关键点检测分为2大类：生成式方法(Generative methods) 和 判别式方法(Discriminative methods)。

Generative methods 构建人脸shape和appearance的生成模型。这类方法将人脸对齐看作是一个优化问题，来寻找最优的shape和appearance参数，使得appearance模型能够最好拟合输入的人脸。这类方法包括：

AAM (Active Appearnce Model)

ASM(Active Shape Model)

Discriminative methods直接从appearance推断目标位置。这类方法通常通过学习独立的局部检测器或回归器来定位每个面部关键点，然后用一个全局的形状模型对预测结果进行调整，使其规范化。或者直接学习一个向量回归函数来推断整个脸部的形状。这类方法包括传统的方法以及最新的深度学习方法，具体分为如下几种经典的实现方式：

Constrained local models (CLMs)

Deformable part models (DPMs)

基于级联形状回归的方法(Cascaded regression)

基于深度学习的方法

从空间维度来考虑，以上这些方法又可分为2D方法，3D方法，稀疏方法和密集方法等。需要指出的是，由于深度学习方法可以很好的实现对多任务的处理，因此有很多新的算法可以同时完成对2D关键点和3D关键点的同时获取，进而可进一步支持后续的多任务分析，如人脸对齐，3D姿态分析等。

在人脸关键点定位的发展史上，具有里程碑式的有如下五种方法：

1995 年，Cootes 的 ASM(Active Shape Model)。

1998 年，Cootes 的 AAM(Active Appearance Model) 算法。

2006 年，Ristinacce 的 CLM(Constrained Local Model)算法。

2010 年，Rollar 的 cascaded Regression 算法。

2013 年，想港中文大学的汤晓欧和Sun Yi等开创深度学习人脸关键点检测的先河，首次将 CNN 应用到人脸关键点定位上。

2. 2D人脸对齐

2.1 AAM(Active Appearance Model)/ASM/Snake

参考文献：An Introduction to Active Shape Models. Constrained Local Model for FaceAlignment. Xiaoguang Yan(2011).

ASM模型起源于snake模型(作为动态边缘分割的snake模型)，该方法用一条由n个控制点组成的连续闭合曲线作为snake模型，再用一个能量函数作为匹配度的评价函数，首先将模型设定在目标对象预估位置的周围，再通过不断迭代使能量函数最小化，当内外能量达到平衡时即得到目标对象的边界与特征。

1989年yuille等人此提出使用参数化的可变形模板来代替snake模型，可变形模板概念的提出为aam的产生奠定了理论基础。

1995年cootes等人提出的asm算法是aam的直接前身，asm采用参数化的采样形状来构成对象形状模型，并利用pca方法建立描述形状的控制点的运动模型，最后利用一组参数组来控制形状控制点的位置变化从而逼近当前对象的形状，该方法只单纯利用对象的形状，因此