PCA算法主要用于降维，就是将样本数据从高维空间投影到低维空间中

一、PCA原理简要说明
      PCA算法主要用于降维，就是将样本数据从高维空间投影到低维空间中，并尽可能的在低维空间中表示原始数据。PCA的几何意义可简单解释为：

      0维-PCA：将所有样本信息都投影到一个点，因此无法反应样本之间的差异；要想用一个点来尽可能的表示所有样本数据，则这个点必定是样本的均值。
      1维-PCA：相当于将所有样本信息向样本均值的直线投影；
      2维-PCA：将样本的平面分布看作椭圆形分布，求出椭圆形的长短轴方向，然后将样本信息投影到这两条长短轴方向上，就是二维PCA。（投影方向就是平面上椭圆的长短轴方向）；
      3维-PCA：样本的平面分布看作椭圆形分布，投影方法分别是椭圆球的赤道半径a和b，以及是极半径c（沿着z轴）；

     PCA简而言之就是根据输入数据的分布给输入数据重新找到更能描述这组数据的正交的坐标轴，比如下面一幅图，对于那个椭圆状的分布，最方便表示这个分布的坐标轴肯定是椭圆的长轴短轴而不是原来的x ，y轴。

     那么如何求出这个长轴和短轴呢？于是线性代数就来了：我们需要先求出这堆样本数据的协方差矩阵，然后再求出这个协方差矩阵的特征值和特征向量，对应最大特征值的那个特征向量的方向就是长轴(也就是主元)的方向，次大特征值的就是第二主元的方向，以此类推。

二、PCA实现方法
      实现PCA的方法， 可【1】直接调用Matlab工具箱princomp( )函数实现，也可【2】 自己实现PCA的过程，当然也可以【3】使用快速PCA算法的方法。
（1）方法一：[COEFF SCORE latent]=princomp(X)
    参数说明：
    1）COEFF 是主成分分量，即样本协方差矩阵的特征向量；
    2）SCORE主成分，是样本X在低维空间的表示形式，即样本X在主成份分量COEFF上的投影 ，若需要降k维，则只需要取前k列主成分分量即可
    3）latent：一个包含样本协方差矩阵特征值的向量；
      实例：假设有8个样本，每个样本有4个特征（属性），使用PCA方法实现降维（k维，k小于特征个数4），并提取前2个主成份的特征，即将原始数据从4维空间降维到2维空间。
————————————————
版权声明：本文为CSDN博主「PKing666666」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/guyuealian/article/details/68487833