初始人脸识别（3）--PCA算法

PCA(principal Component Analysis), 即主成分分析法。是一种广泛使用的数据压缩方法，那它被使用在人脸识别算法中的呢？

抽象理解

PCA算法本质就是通过空间变换，将原始数据变换到另一个维度更低、并且不同类别数据差异更明显的坐标系中，最后通过衡量新坐标系中新样本和训练样本差异性的大小来实现分类。因此这里将引入两个关键问题：①如何降维？②怎样变换到什么样的坐标空间中？

1）如何降维？

降维的要求是减少不同数据之间的相关性，去除信息冗余，提取主成分。具体来说，就是既要把不同人的面部数据相关性减小，又要提取最能表达其差异性的特征。假设元素数据集可以用矩阵$X$表示，$X$的维度为$m\times n$, 假设有一变换矩阵$P$,其维度为$k\times m$,那么可以得到矩阵Y：$Y=PX$,且$Y$的维度是$k\times n$。当$k<m时$，并且$Y$可以体现$X$数据的特性时，即可实现$X$的降维。所以问题就变为如何得到这个变化矩阵$P$，使得数据之间相关性最小？

2) P是什么样的矩阵？

错误理解：数据集$X$中，包含样本$X_1,X_2$（可理解为两张不同人脸数据），其相关性可以用统计学中的协方差衡量。当协方差的值等于0时，表示样本无相关，此时数据相关性最小。$cov(X_1,X_2)=0$。如果样本数量超过2，即认为多维样本时，可以引入协方差矩阵表示两两样本之间的相关性。$$cov(X)=\left[\begin{array}{ccccc}cov(X_1,X_1)& cov(X_1,X_2)& cov(X_1,X_3)& \cdots & cov(X_1,X_n)\\ cov(X_2,X_1)& cov(X_2,X_2)& cov(X_2,X_3)& \cdots & cov(X_2,X_n)\\ cov(X_3,X_1)& cov(X_3,X_2)& cov(X_3,X_3)& \cdots & cov(X_3,X_n)\\ ⋮& ⋮& ⋮& ⋮& ⋮\\ cov(X_n,X_1)& cov(X_n,X_2)& cov(X_n,X_3)& \cdots & cov(X_n,X_n)\end{array}\right]$$。所以变换矩阵P的左右应该是能够使得，$PX$变换到$Y$后, $Y$的不同样本之间的协方差为零，即使得$cov(Y)=\Lambda$, 其中$\Lambda$为对角矩阵。
正确理解：关于数据集$X$，起初错误理解为$X$中包含$n$张人脸图像，每张图像展开的维度为$m$，则一张人脸图像的应该对应$X_i$，那么在下面简化计算协方差矩阵时，$X$减去平取值就是每个$X_i-{\bar{X}}_i$，最后并不能得到平均人脸图。假设$X$有20张图片，每张图片展开维度是65536，很容易将$X$理解为有20个数据，每个数据$X_i$包含65536离散变量，从而导致错误理解。正确理解应该是$X$是65536维度，每个维度包含20个离散变量的数据，例如：一个一维随机变量$x=[1,3,4,6,8...]$, 现在只是将1维扩充到65536维。抽象理解可以是，每张图像都有对应的像素点坐标，都取20张人脸图像某一位置的数据构成一个离散变量，最后构成65536维随机变量。

3) 怎样求P

更具协方差定义可以将$X$协方差矩阵简化计算为$$C=\frac{1}{m}X{X}^T$$其中$X$数据集中各样本已经减去平均值，同理$Y$的协方差矩阵简化计算为$$D=\frac{1}{k}Y{Y}^T$$由$Y=PX$可以得到：$$D=\frac{1}{k}Y{Y}^T=\frac{1}{k}(PX)(PX{)}^T=\frac{m}{k}P(\frac{1}{m}X{X}^T)P^T=\frac{m}{k}PC{P}^T$$。 其中$D$为对角阵，因此求矩阵$P$可以转换为求协方差矩阵$C$对角化的过程。因为$C$为实对称矩阵，则有性质：$C$必有正交矩阵$P$使得$$P^{-1}CP=P^{T}CP=\Lambda$$，因此可以通过对角化$C$求出特征值和特征向量，进而得到$P$。

4）实际计算问题

在采用PCA算法进行人脸识别时，通常样本数量远小于样本维度，假设有20张训练图像，每幅图的像素为$256\times 256$ pixels，那每张图展开后的维度将为65536，此时训练集$X$的维度为$65536\times 20$, 对应的协方差矩阵$C$的维度则是$65536\times 65536$。如果直接计算$C$的特征值和特征向量将是不可取的，因为$$r(AB)\le min(r(A),r(B))$$,此时$C$的秩必然小于等于$X$的秩，即有：$r(C)\le n$ ($n$为图片数量。此时计算$C$的特征值和特征向量可以转换求$C^T$的特征值和特征向量。
假设$$H=C^T=\frac{1}{m}{X}^{T}X$$, 假设$H$的特征值为${\lambda }_i$特征向量为${\alpha }_i$,则有：$$H{\alpha }_i={\lambda }_i{\alpha }_i$$ $$X^{T}X{a}_i={\lambda }_i{\alpha }_i$$ $$X{X}^{T}X{\alpha }_i={\lambda }_{i}X{\alpha }_i$$ $$C(X{\alpha }_i)={\lambda }_i(X{\alpha }_i)$$,那么$H$的特征值也就等于$C$的特征值，$X{\alpha }_i$就是$C$的特征向量，此时计算$H$的特征值和特征向量也就容易得多。

5）计算实例

利用MATLAB对一组实例进行计算，原始数据$X_o$ $$X_o=\left[\begin{array}{ccc}1& 1& 1\\ 1& 3& 2\\ 2& 3& 3\\ 4& 4& 0\\ 2& 4& 4\end{array}\right]$$减去每列均值 $X=X_o-\bar{X}$：$$X=\left[\begin{array}{ccc}-1& -2& -1\\ -1& 0& 0\\ 0& 0& 1\\ 2& 1& -2\\ 0& 1& 2\end{array}\right]$$Matlab中有现成的PCA函数，一个是princomp()另一个是$pcacov()$,两者属于参数不同，$princomp$输入参数为原始数据即:$X_o$,pcacov输入参数为协方差矩阵$C,(C=cov(X))$。同时我们也可以对协方差矩阵直接进行特征值求解$eig(C)$。Matlab代码如下：

clc
clear;
Xo=[1 1 2 4 2;1 3 3 4 4;1,2,3,0,4]';
X=[-1,-1,0,2,0;-2,0,0,1,1;-1 0 1 -2 2]';
C = cov(X);
[coef,score,latent,t2]=princomp(Xo); % coef and coeff = vectors
[coeff,latent2,explained]=pcacov(C);
[eigenvectors,eigenvalues]=eig(C);
% eigenvectors,coef,coeff    % eigenvectors 
% eigenvalues, latent, latent2  % eigenvalues
score , X*eigenvectors  % eigenvectors of C     

上面代码计算结果会略有不同，是正负号与排列顺序的区别。也可利用eigs对C之间分解，得到排序后的特征值和特征向量，从而更容易得到需要的主要维度。

6）特征脸(Eigenface)

特征脸实际就是将我们计算得到的特征向量按原有图像像素排列，即可得到对应的特征脸，等同于将上面代码中计算的score或X*eigenvectors的每列的特征向量进行重新排列。采用ORL人脸数据库进行实际计算，该数据集中共包含40个人的不同人脸图像，总共400张，图像分辨率为112×92pixels。我们将计算得到的特征脸取序列取前十项特征脸和最后十项特征脸进行对比，如图1所示：

Fig1. 特征脸及对比

7）PCA人脸识别

在第3节中已经对实际的协方差矩阵的特征值和特征向量进行计算，$C$对应的特征向量为$X{\alpha }_i$，其变换矩阵为$E$, $$E=X({\alpha }_1,{\alpha }_2,...{\alpha }_k)$$, 则$P=E^T$。从而得到所求变换矩阵$P$, 在实际计算中，P的维度为$n\times m$，$Y=PX$计算得到Y的维度为$n\times n$, 而根据主成分分析法，取$P$的前$k$行即可选取相应的主成分。即实际计算时可根据数据选取$P$前$k$行即可，记为$P_k$。我们利用ORL人脸数据库，将十组数据每组选取7张，共280张作为PCA计算的数据，其余120张作为测试集。在识别测试集过程中，只需要对新的数据按之前的方法展开为一列，再左乘$P_k$,即可得到需要的主成分数据，然后在和原始数据Y进行逐列比较，数据最相近者，则认为是同一组，最后得到人脸识别结果如图2所示。

Fig2.人脸识别结果

在实际过程中，主成分选取并不是越高越好，即$k$值选择并不是越多越好，我们对本例计算中正确识别率和选取$k$的大小关系进行分析，从图3中可以看出，当主成分比例选取占80%~90%时，其识别正确率最高，而当$k$值再继续增加后，正确率又有所下降。由此可以反应出第6节中特征脸排序越靠后，其区分数据见的差异性能力越低。

Fig3.主成分与识别正确率关系

参考资料

1.PCA人脸识别－通俗易懂的理解
2.PCA的数学原理