[论文笔记]Face Alignment by Explicit Shape Regression

CONTENTS

本文主要思想

利用人脸的纹理等一些特征 + 各个特征点之间的位置约束 来实现特征点定位

本文的重点我觉得是对face alignment使用回归方法来做的是一些基本公式的理解，理清楚了这些公式，也就明白整个使用回归方法用来做face alignment的大方向。

• 如何选取一个合理的模型， 线性的 or 非线性的
• 选择一个好的误差函数，评估拟合程度，而且是凸convex函数(不会有多个局部最小值，不会影响寻找全局最小值)
• 选择好的算法，梯度下降法，决策树等

本文使用的boosted regression，最底层是弱回归器，fern模型，简单的误差函数，利用输入图像去拟合，求得最好的模型参数，即$R^t$。

主要方法

• optimization-based 基于模型：min$||S-\hat S||_2$ 及其相关的错误函数，严重依赖于目标函数和其最优值

• regression-based基于回归：非参数的shape model. 直接将图像映射到目标输出的回归函数.

  是基于样本的线性组合来进行shape constraint（coarse-to-fine由粗到细的过程），用整体的方法,最小化alignment error对齐错误训练。

框架公式

$$\min_S||\hat S-S||_2\tag{1}$$
这是 总的目标函数，即希望使model预测的shape S和真实标签shape $\hat S$的误差越小越好。其中第t stage的预测shape为：
$$S^t=S^{t-1}+R^t(I,S^{t-1}))\tag{2}$$
其中， $R^t$为预测的形状增量，只与 I、上一层的shape有关。

学习每个stage的regressor，针对model的每一stage*预测的形状增量目标函数*：

$$R^t=arg\min_{R} \sum_{i=1}^N||\hat S_i-(S_i^{t-1}+R(I_i,S_i^{t-1}))||_2\tag{3}$$
具体来说：
$$min||S-\hat S||_2=arg\min_{R} \sum_{i=1}^N||\hat S_i-(S^{t-1}+R^t(I,S^{t-1}))||_2 \\ = arg\min_{R} \sum_{i=1}^N||\delta \hat S-R^t(I,S^{t-1}))||_2 \\ = arg\min_{\delta S}\sum_{i=1}^N||\delta \hat S - \delta S||_2\tag{4}$$
其中， $\delta \hat S$ ：真实值和前一stage形状比较，这一次需要的形状增量；

​ $\delta S$ ：为model根据图像和上一个stage的形状，需要预测的下一stage形状增量

$\delta S_b$：fern中每一个bin的regression output，minimizes the alignment error of training samples $\Omega b$

$$\delta S_b =arg\min_{\delta S} \sum_{i \varepsilon \Omega_b }||\hat S_i-(S_i+\delta S)||_2 \\ = \frac{\sum_{i \varepsilon \Omega_b }(\hat S_i-S_i)}{|\Omega_b|}\tag{5}$$
考虑到over-fitting，引入shrinkage参数 $\beta$
$$\delta S_b= \frac{1}{1+\beta / |\Omega_b|}\frac{\sum_{i \varepsilon \Omega_b }(\hat S_i-S_i)}{|\Omega_b|}\tag{6}$$

回归算法

• 随机蕨 random fern：学习类条件分布$P(F|C_k)$。针对输入训练集，得到各类别上的多项式分布。测试时，对于输入数据提取特征，normalize distribution归一化所有类别的分布，输出类别(sometimes like a kind of Softmax)。
• 决策树 decision tree：直接学习后验概率$P(C_k|F)$。输入特征和标签，确定划分属性（信息熵信息增益、基尼指数、最大方差衰减等），将其分类。记录所有可能性，不断迭代直到特征被分成同性质类别。leaf节点可以用作分类，也可以用作回归。
• 随机森林 random forest：决策树的集合，不需要输入所有特征，也即随机选择一些数据特征。所有的树最后对结果进行投票，决定其输出结果，提高准确性。优点：特征子集随机选择，并在训练后显示出重要特征；使用无偏估计，模型泛化能力强。

特征选择

pixel different feature：局部像素差特征，只是针对每个特征点周围去提取像素差，使计算速度加快。

shape indexed pixel：像素索引，以现阶段预测的shape为基准的($\Delta x, \Delta y$)周围距离最近的点

提取特征：每一层的每一个弱分类器$R^t$，随机抽样p个pixels，两pixels之间的difference生成一个feature。

参考文献

1. 文章：Face Alignment by Explicit Shape Regression
2. 朴素贝叶斯理论和随机蕨
3. http://blog.csdn.net/santo_wong_94/article/details/49330295
4. http://blog.csdn.net/stayfoolish_fan/article/details/50455359
5. 具体训练和测试过程