PCA算法原理及在人脸识别的应用

PCA算法原理及在人脸识别的应用

1.概述

PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。PCA的思想是将n维特征映射到k维空间上k<n，这k维特征是全新的正交特征，是重新构造出来的k维特征，而不是简单地从n维特征中去除其余n−k维特征。

2.理论概述

2.1矩阵相乘

其中 Pi 是一个行向量，表示第i个基， am是一个列向量，表示第j个原始数据记录。
两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。更抽象的说，一个矩阵可以表示一种线性变换。这也是pca算法的降维方式。

2.2方差

如果我们必须使用一维来表示这些数据，又希望尽量保留原始的信息，通过上面对基变换的讨论我们知道，这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。
我们希望投影后投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。被形式化表述为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大，（即：投影之后的点比较分散，没有相关性。以达到一个很好的降维效果）。

2.3协方差

对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。
如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。数学上可以用两个字段的协方差表示其相关性，由于已经让每个字段均值为0。
至此，我们得到了降维问题的优化目标：将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。

3.协方差

3.1协方差矩阵

假设我们只有a和b两个字段，那么我们将它们按行组成矩阵X：

然后我们用X乘以X的转置，并乘上系数1/m：

这个矩阵对角线上的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。两者被统一到了一个矩阵的。
设我们有m个n维数据记录，将其按列排成n乘m的矩阵X，设 ，则C是一个对称矩阵，其对角线分别个各个字段的方差，而第i行j列和j行i列元素相同，表示i和j两个字段的协方差。

3.2协方差矩阵对角化

根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的。这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系：
设原始数据矩阵X对应的协方差矩阵为C，而P是一组基按行组成的矩阵，设Y=PX，则Y为X对P做基变换后的数据。设Y的协方差矩阵为D，我们推导一下D与C的关系：

现在事情很明白了！我们要找的P不是别的，而是能让原始协方差矩阵对角化的P。换句话说，优化目标变成了寻找一个矩阵P，满足 是一个对角矩阵，并且对角元素按从大到小依次排列，那么P的前K行就是要寻找的基，用P的前K行组成的矩阵乘以X就使得X从N维降到了K维并满足上述优化条件。

4.对于人脸识别的应用

4.1 人脸图像标准化处理

将待训练的样本图像进行标准化处理，去除背景信息，并进行人脸中心化处理，最终转化成尺寸一致的人脸图像（一般是灰度图像）。手标很麻烦，可以利用人脸检测，将人脸矩形区域提取出来。人脸检测也有相应的算法，这里不展开了。

4.2 构造训练样本

设一张人脸图像尺寸为m×n，则将像素按列排开，在转置一下得到1行mn列的一个人脸样本，在统计学中也叫一次观测或记录，有个变量或字段，因为很大，变量的维度很高，直接处理计算复杂，且没有必要，因为这些变量肯定有相关信息。假设有num张人脸图像，则将所有人脸样本放在一块构成了一个样本矩阵trainSamples，其大小是num×mn.

4.3 零均值化

求出平均脸meanFacemeanFace，将trainSamplestrainSamples每行减去meanFacemeanFace，得到zeroMeantrainSamples.

4.4 求协方差矩阵

协方差矩阵是num×num, 维数较高，计算量较大，采用SVDSVD奇异特征值法可以减小计算量，思路是利用zeroMeantrainSamples⋅zeroMeantrainSamplesT的特征向量来求上式的特征向量。

4.5 求协方差矩阵的特征值、特征向量

求cov特征值D、特征向量V1，并单位化正交化，得到特征向量V。按贡献率从高到地重新排序。取前P个特征值，特征向量。得到投影矩阵T=(v1,v2,…vp)。

4.6选择主成分

所谓主成分即是具有最大特征值的特征向量，所以我们需要将特征向量按照特征值由大到小排序，然后根据精度要求选择不同数量的特征向量，例如我们选择了前p个特征向量，通常p远小于n。

4.7将训练集进行降维

此步骤将原始的训练集进行降维变换，原始的图像数据是mn的矩阵，只包含主成分的特征向量构成一个np的矩阵（每一列都是一个特征向量）。将两个矩阵相乘，我们即可获得降维之后的图像矩阵m*p，这个矩阵远小于原始的图像数据。

4.8将测试集进行降维

同步骤4.7相似，读取所有的测试集图像，然后对其也进行降维操作。如果测试集有M幅图像，则降维后的矩阵为M*p，则这就是特征脸，pca取得的特征。

4.9人脸识别

该步骤为人脸识别的最后一步，用来对测试集进行识别，并计算识别准确率。该步骤有一个限制，测试集中的头像必须包含在训练集中，否则得出的结果将没有意义（这也就是代码一开始要求训练集大于测试集的目的）。识别的方法和最初的图像匹配方法类似：将测试集中的每一幅降维图像与降维的训练集进行匹配，然后将其分类到距离最小的训练集头像中，如果两个头像表示一个人，表示识别成功，否则表示识别失败。与原始的匹配相比，由于对图像进行了降维，所以匹配速度大大提升，在我们的实验中速度提升了200以上（120*142/72）。