机器学习——PCA（主成分分析）

1.PCA的基本概念

    PCA是模式识别判别分析中最常用的一种线性映射方法,该方法是根据样本点在多维模式空间的位置分布,以样本点在空间中变化最大方向,即方差最大的方向,作为判别矢量来实现数据的特征提取与数据压缩的。从概率统计观点可知,一个随机变量的方差越大,该随机变量所包含的信息就越多,如当一个变量的方差为零时,该变量为一常数,不含任何信息。所谓主成分就是原始数据的m个变量经线性组合(或映射)后得到的变量,该变化使得其变换后的变量方差为最大(第一主成分)的部分。各个主成分之间是相互线性无关的(正交的),从第一主成分往后,主成分按方差大小的顺序排列(对应特征值按大小顺序排列)。对于特征值为的主成分,也是该主成分的方差,该值表示样本点在该主成分方向上的离散程度,主成分的贡献率可用下式表示  

     

主成分中方差较小或较小的主成分被认为包含的是噪声,在分析时不使这些变量引入模型,这样使分析的主成分减少,以达到降维的目的。主成分中任两个,可构成判别分析平面,因此可实现高维空间向两维平面及其他维平面映射的目的。一般取方差较大的几个主成分构成判别分析平面。

2.PCA原理

 

3.PCA的求解步骤

4.利用PCA进行特征提取的经典算法——Eigenface算法

在利用 PCA 进行特征提取的算法中,特征脸方法(Eigenface)是其中的一个经
典算法。特征脸方法是从主成分分析导出的一种人脸识别和描述技术。特征脸方
法就是将包含人脸的图像区域看作是一种随机向量,因此可以采用 K-L 变换获得
其正交 K-L 基底。对应其中较大特征值的基底具有与人脸相似的形状,因此又称
为特征脸。利用这些基底的线性组合可以描述、表达和逼近人脸图像,因此可以
进行人脸识别与合成。识别过程就是将人脸图像映射到由特征脸张成的子空间上,
比较其与己知人脸在特征空间中的位置,具体步骤如下:
（1）初始化,获得人脸图像的训练集并计算特征脸,定义为人脸空间,存储在模板
库中,以便系统进行识别;
（2） 输入新的人脸图像,将其映射到特征脸空间,得到一组关于该人脸的特征数
据;
（3） 通过检查图像与人脸空间的距离判断它是否是人脸;
（4） 若为人脸,根据权值模式判断它是否为数据库中的某个人,并做出具体的操
作。

5.计算特征脸

6.基于特征脸的人脸识别