lpg-pca算法python_Python使用三种方法实现PCA算法[转]

主成分分析(PCA) vs 多元判别式分析(MDA)

PCA和MDA都是线性变换的方法，二者关系密切。在PCA中，我们寻找数据集中最大化方差的成分，在MDA中，我们对类间最大散布的方向更感兴趣。

一句话，通过PCA，我们将整个数据集(不带类别标签)映射到一个子空间中，在MDA中，我们致力于找到一个能够最好区分各类的最佳子集。粗略来讲，PCA是通过寻找方差最大的轴(在一类中，因为PCA把整个数据集当做一类)，在MDA中，我们还需要最大化类间散布。

在通常的模式识别问题中，MDA往往在PCA后面。

PCA的主要算法如下：

组织数据形式，以便于模型使用；

计算样本每个特征的平均值；

每个样本数据减去该特征的平均值(归一化处理)；

求协方差矩阵；

找到协方差矩阵的特征值和特征向量；

对特征值和特征向量重新排列(特征值从大到小排列)；

对特征值求取累计贡献率；

对累计贡献率按照某个特定比例，选取特征向量集的字迹合；

对原始数据(第三步后)。

其中协方差矩阵的分解可以通过按对称矩阵的特征向量来，也可以通过分解矩阵的SVD来实现，而在Scikit-learn中，也是采用SVD来实现PCA算法的。

本文将用三种方法来实现PCA算法，一种是原始算法，即上面所描述的算法过程，具体的计算方法和过程，可以参考：A tutorial on Principal Components Analysis, Lindsay I Smith. 一种是带SVD的原始算法，在Python的Numpy模块中已经实现了SVD算法，并且将特征值从大从小排列，省去了对特征值和特征向量重新排列这一步。最后一种方法是用Python的Scikit-learn模块实现的PCA类直接进行计算，来验证前面两种方法的正确性。

用以上三种方法来实现PCA的完整的Python如下：

?

运行以上代码，输出结果为：

这说明用以上三种方法来实现PCA都是可行的。这样我们就能理解PCA的具体实现过程啦~~有兴趣的读者可以用其它语言实现一下哈。