2D人脸对齐：《Deep Alignment Network: A convolutional neural network for robust face alignment》

《Deep Alignment Network: A convolutional neural network for robust face alignment》

0 基本信息

       1）作者: Marek Kowalski,Jacek Naruniec,and Tomasz Trzcinski
       2）机构: Warsaw University of Technology
       3）来源: https://arxiv.org/abs/1706.01789

1 中心思想

       DAN是一种人脸对齐的方法，采用级联神经网络结构，充分利用人脸的全局信息而非局部信息，使其效果优于现有的人脸对齐方法。
       该方法的总体思想为如下几步：
       1）DAN 参考CSR的框架，通过前向深度网络提取特征代替人工特征，训练前向网络得到关键点位的偏差代替CSR中的回归器
       2）用级联的网络结构来实现CSR中的迭代
       3）利用人脸全局信息T(I)、H、F作为前向网络的输入，得到关键点位的偏差
       4）构造级联网络结构
       5）分级训练网络，每级网络loss停止收敛时，训练下一级网络。

2 相关研究

       CSR：以标准人脸关键点作为初始值，通过迭代来修正关键点的位置。
              

              缺点：因为使用局部特征（关键点周围的局部信息），人工特征（SIFT、LBP），易使模型陷入局部最优解。
       SDM：SIFT特征+线性回归器
       LBF：稀疏特征+线性回归器
       CFSS：uses SIFT features，coarse to fine over several iterations.
       MDM：fuses the feature extraction and regression steps of CSR into a single RNN that is trained end-to-end.

3 关键要点

       1）FEED FORWARD NN
       作用：
              提取人脸的全局特征，替代CSR中的特征提取器Φ；
              获得与标准人脸最接近的点位偏差，替代CSR中的回归器R
       输入灰度图I以及标准关键点模板S0,预测得到新的关键点位置S1，其网络结构如下，输出136用于预测68个关键点
       

       2）CONNECTION LAYERS
       作用：
              产生相似变换矩阵T及其逆矩阵；
              产生前向深度网络的输入：T(I)、H、F。
       计算S1到S0的相似变换矩阵T1，通过T1对图像进行校正得到T1(I),对关键点进行变换得到Heatmap H1，fc1层映射到112*112的特征图F1

       Heatmap:利用关键点热力图通过CNN预测新的关键点偏差。
       

       Feature:充分利用人脸的全局信息特征，是Heatmap的信息补充。

        3）级联网络结构
       作用： 通过级联网络替代CSR中的迭代处理过程。
       

4 效果

       GeForce GTX 1070 45fps
        DAN在Menpo test set中的效果
       

       DAN在IBUG dataset中9种很困难的人脸对齐效果