主成分分析（PCA）的简单理解

主成分分析（PCA）的简单理解

1.概念
主成分分析，又称为主分量分析、K-L变换，是一种使用广泛的数据降维算法，常用于特征提取过程中。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。

2.步骤
设有m个n维样本 X = （x1，x2，···，xm），我们的目标是将原始数据降到 k维，然后用降维后的数据去完成模式识别任务。

1.先将原始数据按列组成n 行m 列矩阵 X，然后X中每一维数据都减去该维的均值得到 X’。（与对所有的样本进行“中心化”即

，然后将数据按列组成 n行m 列矩阵
2.计算样本的协方差矩阵 。
3.（特征值分解或奇异值分解）求出协方差矩阵的特征值及对应的特征向量。
4.将特征向量按对应特征值大小从上到下按行排列成矩阵，取前 k 行组成矩阵 P 。

3.主成分的贡献率
通过主成分分析，样本的数量会减少。选取主成分的个数需要依据主成分贡献率与累计贡献率。
第k个主成分的贡献率为：

其中λ1,λ2,· · ·，λp是根据该协差阵可以求出p个特征值并从大到小排序所得。
通常情况下，该主成分的贡献率越大，说明保存的原有数据的信息越多。样本前m个主成分的累计贡献率为：

通常情况下，如果累计贡献率达到85%以上，便可以认为选取前m个主成分能够很好地保留原来样本的信息。累计贡献率是判断选取主成分个数的标准，也反映了这些主成分对原有信息的保留情况