Face Alignment Survey

*Face Alignment Review*

---

人脸对齐简单来说就是人脸面部特征点定位，在人脸识别，识别表情分析，三维人脸重建等领域应用广泛。
本文就是简单将人脸对齐的近几年的发展和一些主要工作做一个梳理。
拿人脸识别系统做梳理的话，一套人脸识别系统可以分为三大模块：人脸检测-人脸对齐-人脸识别。因此，人脸对齐的首要前提是依赖于前面的人脸检测。同样，对于人脸检测所面临的姿态、遮挡、光照、表情、、这些问题对于人脸对齐也是不可避免的。

人脸对齐简单可以归结为：从一张人脸图像中找到预定义的特征点。其过程可以理解为：从一个初始化的人脸形状开始，逐步矫正人脸形状，直到收敛。这个过程主要用到了两种不同的人脸信息：面部表观和人脸形状。基于人脸形状的方法主要是利用面部特征点的位置关系进行空间建模，这样可以确保预测的特征点可以构成一个有效的人脸形状。
根据模式识别中方法建模的原则，可以将现存方法进行分类，主要可以归结为两种：生成式方法(generative)和判别(discriminative)式方法。

1. generative
   该方法一般是将利用面部形状和外观进行建模。从而将对齐问题做为优化问题，从而找到形状和外观参数，拟合测试人脸形状。这里面部形状可以用整个人脸曲面来描述，也可以用特征点为中心的局部patch来描述。

2. discriminative
   这种方法是直接从人脸形状推断特征点的位置。通过学习独立的本地检测器或者是回归器来完成每个面部特征点检测，同时采用全局形状模型来规范其预测，或者是通过直接学习向量回归函数来推断整个形状。

table 1: 代表性工作分类：

以下对生成式方法进行一个简单的介绍，个人虽然工作虽然也是关于人脸对齐问题，但是这类方法并没有关注太多。
生成式方法：将人脸做为一个可变模型进行建模，类似于EigenFace，但是和它不同的是，这些方法将人脸形状变化考虑在内，并且在建立表观模型的时候移除了形状变化。拟合生成模型目的是找出一系列形状参数，这些参数可以生成一个模型实例去更好的拟合测试人脸。
根据面部表观模型表示类型可以进一步对该方法进行划分：
AAM:利用人脸整体形状。AAM 是一个线性统计模型，它可以通过一小部分的参数生成一系列的各种变化实例。
part-based generative methods: 基于局部人脸形状。其典型做法是对每一部分构建单个人脸形状，代表算法是ASM(active shape models)：它组合了每一部分的生成表观模型和全局形状的点分布模型。

discriminative methods: 判别式方法直接学习一个判别函数，该函数可以直接映射面部形状到特征点位置。该方法可以进一步的划分：分割和约束策略：即对每一个特征点学习一个局部表观模型（包括检测符和回归符），一个形状模型对所有的局部模型构建一个全局约束，这个方法可以进一步分为三类：CLM(constrained local models):学习独立的局部检测符，同时用形状模型对所有的检测符构建约束。CLR(constrained local regression):对每一个点学习独立的回归符，然后用图模型来指导这些局部回归符。DPM(deformable part models):学习局部表观模型，然后用一个判别式框架组合一个数据结构模型。
第二种策略是：直接学习一个向量回归函数去推断整个人脸形状，在这个过程中，人脸形状约束被直接隐式编码。该方法由可以进一步分为三类：ensemble regression-voting(综合回归投票):在局部区域通过回归来推测特征点位置，然后对所有这些特征点进行投票，最后综合这些不同的局部特征点构成一个整体预测。Cascaded regression: 该方法是利用级联的方法通过学习一个向量回归函数，一步步的估计人脸形状。DNN：直接学习一个映射函数，从而在面部形状和形状更新进行一个建模。

table 2 ： 方法分类

后续将对经典性的工作进行分析和概括。希望相关领域的同学相互交流。

[1] Jin X, Tan X. Face Alignment In-the-Wild: A Survey[J]. 2016.