主成分分析、线性判别的应用

注：此博客仅为本人自己记录，有很多地方没有说明的很清楚，日后补上
第一次写，不是很有经验，还望各位不要吐槽
线性判别分析被应用于模式识别中的各类问题，包括图像分类、人脸识别以及其他数据的分析。子空间方法是人脸识别研究早期的非常重要的一类方法，它将人脸图像作为一个向量投影到低维的子空间中然后进行分类。使用主成分分析的特征脸（Eigenfaces）和使用线性判别分析的Fisherfaces是这类方法的典型代表[1-3]。
使用主成分分析的人脸识别算法是把人脸看作是一个向量，即将图像按行或者按列拼接起来。对人脸图像形成的向量进行主成分分析，得到投影矩阵，然后将训练样本向量投影到低维空间。在识别时，先对待识别图像进行主成分分析投影，然后再低维空间中计算待识别人脸图像与训练样本图像的距离，将其分到距离最近的一类，即kNN 算法。投影矩阵的每一行所代表着的图像成为特征脸图像。
使用线性判别分析的人脸识别也是将人脸看作向量，然后对所有训练样本图像计算线性判别分析的投影矩阵，并将这些样本投影到子空间。接下来，在识别时将识别图像也投影到LDA空间，然后计算投影后的向量与训练样本投影向量的距离，将其分到距离最近的那个类中。我们只要将图像转换成向量，就可以直接进行人脸识别，通过修改LDA投影空间的维数，很容易推广到多个嗯的识别。
在用线性判别分析进行人脸识别时，如果类内散步矩阵不可逆，这种方法就将失效。有大量的文章研究此问题的解决方法，其中经典的做法是先对人脸图像进行主成分分析降维，然后再应用线性判别分析进行处理。
参考文献：[1]M.A. Turk ; A.P. Pentland.Face recognition using eigenfaces.Journal of Congnitive Neroscience ,1991.
[2] Perter N,Belhumeur,J P,Hespanha,David Kriegman.Eigenfaces vs.Fisherfaces:recognition using class specific linear porjection.IEEE Transactions on Pattern Analysis and Machine INtelligence,1997.
[3] Kamran Etemad,Rama Chellapa.Discriminant analysis for recognition of human face image.1997.