人脸特征点定位之Explicit Shape Regression



人脸特征点定位之Explicit Shape Regression

人脸关键点定位是在人脸检测基础上，进一步定位人脸的眼睛眉毛鼻子嘴巴轮廓等。主要思想就利用关键点附近的信息以及各个关键点之间的相互关系来定位。方法大致分为两类，一个是基于模型的方法，一个是基于回归的方法。这里主要介绍的第二种方法。 

 

基于模型的方法以cootes在1995年提出的asm方法最为代表，asm方法将数十个脸部特征点的纹理和位置关系约束一起考虑来进行计算出一个参数模型。从局部特征中检测到所求的关键点，但是这种方法对噪声非常敏感。asm也是开先河的经典之作，也是后面被follow最多方法。也是cootes等人提出的aam方法，对外观变化和初始化也非常敏感，以上的这些包括他们的改进都是用的PCA参数模型。

基于回归的方法是ASM相关改进的另外一个方向，就是对形状模型本身的改进。CVPR2012，MSRA孙剑组的Face Alignment by Explicit Shape Regression，取得了非常不错的效果（下文简称ESR）。这篇文章没有用PCA去约束形状模型，而是基于训练样本的线性组合来约束形状。而且，其在alignment的效果(LFPW测试集)上是目前看到最好的，此外，这个方法的速度非常快。

 Esr使用的是一个cascade regression的框架，是P. Dollár在CVPR2010的Cascaded Pose Regression 中提出的一种方法，用来解决对齐问题。曹旭东的esr方法在此基础上做了几个扩展，使他更为适合做人脸关键点定位，下面且听我详细道来。

 

一．Two-level boosted regression

ESR使用了一个两级的boosted regressor。作者是使用了第一级10级，第二层500级。在这个二级结构中，第一级中每个节点都是500个弱分类器的级联，也就是一个第二层的regressor。这里肯定会有人不明白，这不就是相当于一层，其实不是。因为，在第二层regressor中，特征是保持不变的，而在第一层中，特征是变化的。所以，这事实上是一个两层的结构。在第一层，每一个节点的输出都是上一个节点的输入。都是在上一级估计的关键点上在取的特征。

 

二．Primitive regressor

   在这里，作者用fern作为原始regressor。fern是N个特征和阈值的组合，将训练样本划分为2的F次幂个bins。每一个bin对应一个输出，即

 这里是过拟合系数，是当前bin中样本总数。这样，最后的输出就是一个所有训练样本的线性组合。

 

三．Feature

   CPR中提出了 pose indexd feature，这种特征保持了对形状的不变性，从而增加了算法的鲁棒性。在曹旭东esr方法中，将这种feature变成了shape indexd feature，所谓的shape index feature，就是根据关键点的位置和一个偏移量，取得该位置的像素值，然后计算两个这样的像素的差值，从而得到了形状索引特征。该方法中采用的是局部坐标而非全局坐标系，极大的增强了特征的鲁棒性。

 

 

 

四．Correlation-based feature selection

这一步，我们需要在提取的400x400个特征中，选择出f个特征作为fern分类器的输入。这里，作者采用了一种Correlation-based的方法。先将要回归的目标映射到一个方向，然后在这个方向上分别计算与不同的特征向量的相关系数，选择最大的f个。在计算时，可以提前计算好不同的特征间的协方差，这样可以极大的降低计算复杂度。

 

这里，将对这篇文章的理解与大家分享