上一篇博文中，我们了解了系统的功能和模块，明确了需要采集哪些类型的样本点及利用类的序列化的保存方式。这次将介绍几何约束模块，通过统计形态分析法(Statistical Shape Analysis, SSA)，利用样本点建立对形状的描述，然后对描述的形状建立点分布模型，并从中学习统计参数，完成对形状的建模。该模块在后续跟踪阶段将被用来约束和剔除不合理的特征点。
本次讲解目录：
- facial geometry是什么？程序主要数据结构介绍
- 普氏分析是什么？作用是什么？怎么实现？[代码分析]
- 线性形状模型是什么？作用是什么？如何实现？[代码分析]
- 如何联合全局和局部特征？[代码分析]
- 展示训练后的结果，介绍可视化程序
简单概括：【从N幅图像提取k个表情】
根据上次对N幅图像手工采集得到的样本点，首先将point2f向量转换成坐标矩阵，然后利用普氏分析、标准正交基、SVD等技术提取非刚性变化（脸部表情），构建描述人脸模型的联合表达（刚性-非刚性）矩阵V，并计算N幅图像的样本点在该联合空间投影后得到坐标的标准差矩阵e，最后将上次标注的连接关系从Vec2i向量转换成坐标索引矩阵形式。
本文末尾，将以动画的形式展示提取的人脸表情模型，表情模型数量由训练过程（即选前k个奇异值）决定。注意，这边的k个表情前后无衔接关系，动画只是展示不同表情模型在联合（刚性-非刚性）空间坐标轴(x和y轴±50)上，失真程度为3个标准差时的表情形状。
1. Facial geometry
人脸由眼睛、鼻子、嘴巴、下巴等部位构成，正是因为这些部位形状、大小和相对位置的各种变化，才使得人脸表情千差万别，因此可以对这些部位的形状和结构关系进行几何描述，作为人脸表情识别的重要特征。这里，几何关系就是指预定义点集的空间组态模式，而这些点与脸部器官在几何空间存在对应关系（比如眼角、鼻尖、眉毛）。
Facial geometry，通过两种元素的参数化配置组成：全局变形（刚性）和局部变形（非刚性）。全局变形是指人脸在图像中的分布，允许人脸出现在图像中任意位置，包括人脸的坐标(x,y)、角度、大小；局部形变是指不同人和不同表情之间脸部形状的不同，与全局形变不同，人脸的高度结构化特征对局部形变产生了极大的约束。全局变形可以由二维空间的函数表达，并且可以应用于任何类型的对象；然而局部形变只针对特定目标，需要从训练集中学习。
本文程序可以捕捉单个人物的表情变化、不同人的脸型差异、或者不同人的不同表情变化。该程序将用shape_model类来存储这些参数，
数据结构采用以下4个主要的矩阵：
V：描述人脸模型的联合矩阵
e：存在联合空间内表情模型坐标的标准差矩阵
C：描述之前标注的连接关系矩阵
主要操作包含以下3个函数：
calc_params函数：将点集映射到合理的脸型上，它还可以为每个映射点提供单独的置信权重。这一步供人脸跟踪时调用，涉及上面Mat p矩阵，人脸跟踪将在下一篇博文介绍。
calc_shape函数：根据子空间V和方差矢量e对参数向量p进行解编码，产生新点集，这些点集在人脸跟踪和结果展示时会用到。
trian函数：从脸型样本集中学习编码模型，每个编码模型包含相同数量的点，该函数也是本次学习的重点。下面我们先讲解普氏分析Procrustes analysis，如何注册刚性点集；然后讲解线性模型，如何表达局部变形。
在将Procrustes分析之前，承接上次文章，看看我们目前对什么类型的数据做操作 。
函数：pts2mat
入参：
vector<vector<Point2f> >&points ,points向量存放了所有图像标注的样本点
返回值：
Mat x， 它是一个2n*N矩阵，n表示样本点数量，N表示图像帧数
2. Procrustes Analysis
为了构建脸型的形变模型，我们首先要从标注的样本点中剔除全局刚性部分，即保留物体在去除位移、旋转和缩放因素后所遗留的几何信息。
选取N幅同类目标物体的二维图像，并用上一篇博文的方法标注轮廓点，这样就得到训练样本集：
由于图像中目标物体的形状和位置存在较大偏差，因此所得到的数据并不具有仿射不变性，需要对其进行归一化处理。这里采用Procrustes分析方法对样本集中的所有形状集合进行归一化。形状和位置的载体还是样本点的空间坐标。
普氏分析法是一种用来分析形状分布的方法。数学上来讲，就是不断迭代，寻找标准形状(canonical shape)，并利用最小二乘法寻找每个样本形状到这个标准形状的仿射变化方式。（可参照维基百科的GPA算法）
本书中，两个形状的归一化过程（一个形状为canonical shape，另一个为样本形状）：
(1) 求每个样本点i(i=1,2..,n)在N幅图像中的均值
(2) 对所有形状的大小进行归一化，即将每个样本点减去其对应均值
(3) 根据去中心化数据，计算每幅图像中形状的重心，对于第i幅图像，其重心为：
(4) 根据重心和角度，将标准和样本形状对齐在一起，使得两个形状的普氏距离最小，下式为普氏距离定义：
这个第(4)步的具体做法，不断迭代以下过程：
(a)通过计算每幅图像中所有归一化样本点的平均值得到每个图像的标准形状canonical shape。
(b)利用最小二乘法求每个图像中样本形状到标准形状的旋转角度。根据普氏距离的定义，也就是求：
其中的a和b表示仿射变换里旋转变化的参数：
对上式求偏导数，可以得到所求的a和b：
(c)根据旋转参数，对样本形状做旋转变化，得到和标准形状对齐的新的形状
(d)重复以上步骤，直到达到指定循环次数或者前后两次迭代之间canonical shape的绝对范数满足一定阈值
Procrustesanalysis的作用可以看作是一种对原始数据的预处理，目的是为了获取更好的局部变化模型作为后续模型学习的基础。如下图所示，每一个人脸特征点可以用一种单独的颜色表示；经过归一化变化，人脸的结构越来越明显，即脸部特征簇的位置越来越接近他们的平均位置；经过一系列迭代，尺度和旋转的归一化操作，这些特征簇变得更加紧凑，它们的分布越来越能表达人脸表情的变化。【剔除刚性部分、保留柔性部分】
上图为不同大小、不同长宽比的矩形，经过归一化过程后，各个样本点分布服从一定概率分布趋势。
具体代码实现：
函数：Mat shape_model::procrustes(const Mat &X,const int itol,constfloat ftol)
矩阵X：2n*N维矩阵，即有N副图像，每幅图像有n个特征点（2n是因为x和y坐标）
Itol：迭代次数
Ftol：求绝对范数的阈值
返回值：矩阵P，存放对齐后的形状坐标
3. Linear Shape Model
经过上述归一化过程后，我们得到N个经过对齐的形状。为了建立相应的表情空间，我们首先要剔除刚性成分，然后才能利用该空间里的数据，对人脸表情变化建模，即找到一种参数化表达方式，它能够描述不同人和不同表情的脸部变化。最简单的做法，对脸部几何空间采用线性表达方式，其主要思想如下：
假设一个人脸形状，在2n维空间中有n个脸部特征点，线性建模的目的是寻找一个低维超平面，该超平面将包含所有脸型的特征点（见下图中绿色的点）。这个超平面子空间的维数越低，脸型的表达就更具有兼容性。
也就是说，经过上述样本点预处理（统计形状分析）后，必然会有大量的数据冗余，在人脸跟踪时会造成不必要的计算开销。因此，这里采用PCA降维技术，在尽可能保留具有显著变化特征数据的基础上，减少样本维数，剔除那些特征变化较小的维度。但是，由于PCA降维时需要提前指定保留子空间的维数，现实中是很难做到的。通常替代做法是根据所选子空间的特征变化占总体空间特征变化的比例来决定。
另外，针对单个个体人脸脸建模，其子空间捕捉的表情变化比大众化人脸建模更具有兼容性，因此针对个体的人脸跟踪比大众化跟踪更精确。
由于样本经过预处理，已经是去中心化的数据，PCA和SVD可以直接对应起来。（SVD与PCA特征的联系，PCA得到的是矩阵Data的特征值，SVD就是矩阵Data*DataT特征值的平方根）【后面老外代码是用SVD去实现的】（SVD和 PCA可以参考我前面的博文：http://blog.csdn.net/jinshengtao/article/details/41387379，
http://blog.csdn.net/jinshengtao/article/details/18599165）
为了提取非刚性成分，我们要从预处理后的形状中剔除刚性成分，为此我们要先求N幅图像对齐后形状空间的标准正交基，然后将每幅图像的原始形状投射到该标准正交空间得到新的形状坐标集合，再用原始图像减去该集合得到非刚性成分。
回顾一下线代基础：
这里的线性无关向量是n=4个，按照如下方式构造：
此处线性无关向量，即为矩阵R的4个列向量。函数：calc_rigid_basis，求对齐后形状空间(表情空间)的施密特标准正交基：
入参：矩阵X，对齐后的形状空间
返回值：矩阵R，n个特征点的标准正交基（R*RT=I）
整个非刚性特征提取的实现流程：
4. A Combined local-globalrepresentation 全局/局部联合表达
经过第3步，我们只是对非刚性空间里的特征点利用SVD降维，得到了非刚性变化的投影矩阵，并没有得到真正的线性模型(Linear model)。我们知道每帧图像中人脸的形状由局部变化和全局变化组成（非刚性和刚性）。从数学角度来讲，二者组合的参数是很难获取的，因为这需要求解高维非线性函数，它的解是非闭合的（个人认为解集是不定的，自变量太多，方程太少）。
替代的解决方案：将二者合并到一个线性空间中，得到Linear Shape Model。
对于一个特定的形状，其相似变换可以按照如下线性子空间[a b tx ty]T建模：
也就是说，联合矩阵可以分成2个分块矩阵，左半边是刚性参数（4列），右半边是非刚性参数（k列）。具体可以看代码注释。
上述公式中，a和b是刚性变化的参数，tx和ty是非刚性变化参数，x和y是样本特征点坐标。由于在得到非刚性参数之前，样本特征点就已经去中心化了，因此非刚性子空间正交于刚性子空间。那么将两个子空间串联起来，得到上述脸型的联合线性表达[a b tx ty]T也是正交的。这样，我们就可以非常容易得使用这个正交空间来描述脸型。
P是人脸形状在联合子空间中的坐标，V是联合变化矩阵，X是2N维空间样本坐标。这样就可以获得联合分布空间的坐标了。
代码分析：
但是，2N维空间投射到联合分布空间的人脸可能会失真。我们对联合分布空间坐标求标准方差，下面几幅图显示的是联合分布子空间中人脸的形状，并且人脸坐标沿着一个方向以4倍标准方差不断增加。我们注意到对于较小的方差倍数，图形的结果仍然保持人脸的形状，而方差倍数变大时，人脸形状就失真了。（上面代码中矩阵e就存放着方差，老外的意思是人脸失真只能是由非刚性变化导致的）
这里，我们选用c（c=3）倍方差为阈值，对于映射后的坐标大于该阈值的，使用clamp函数进行尺寸修正。下面这段代码是在人脸跟踪时使用，这是后话了，下面的代码，本次博文可以忽视。
当完成表情模型的训练后，将shape_model类序列化，以文件形式保存，供后续步骤使用。本次训练入口函数如下，首先载入上次标注的xml数据文件，然后调用train方法训练，获取形状空间参数。
完整的流程：
其中，模型训练函数如下，frac为非刚性空间奇异值的阈值，kmax为非刚性空间保留奇异值的个数。
5. 展示训练后的结果
本文程序会在每个非刚性变化方向上（k个表情模型）依次以动画形式表达学习得到的非刚性形变。即根据联合矩阵的非刚性形变参数，在给定2维空间里，还原动画效果。
函数主要流程：
感谢上次网友sinat_25264411提供的数据集：http://pan.baidu.com/s/1bn6L2aF，图像样本近4000多个，文本文件都几兆了。我稍微简化处理了下，就以第一个MM为列，挑了个15个图片，文本文件涉及其中9幅图片。完整的3个代码（标注、形状 学习、展示形状）我会上传到CSDN，见留言板。
这里文本文件只包含了标注点，而connection连线和symmetry点需要自己选择，比较累。【其他文本文件，暂时还没看懂用意】
下面为学习到的5个表情模型：
耗时两个礼拜，终于写完这一个section了，华为上班思路又断断续续的，不知道上面胡乱写了啥，算是纯粹的读书笔记吧。
反正，这个section口口声声喊是学习表情形状模型，在我看了就用SVD从N幅图像里挑选了比较特别的k幅图，最终体现也就是两个矩阵：联合分布矩阵V和标准差e，至于后面怎么用它们，后一章节还没读，不确定是不是能继续写下去。
如果回头发现自己前面写错了，也没办法。
我一直做着和工作无关的事情，这半年来图像处理模式识别这块成长几乎是停止的，至多说眼界广一些，很多东西都缺乏自己的思考（这需要时间）
另外，关于华为部门年会抽奖没拿到MATE7 高配，就不吐槽了，过完年就闪人了。
扫一扫
1521
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
