机器学习降维之主成分分析法（PCA）

主成分分析（principal component analysis）也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标（即主成分），其中每个主成分都能够反映原始变量的大部分信息，且所含信息互不重复。

PCA主要思想

PCA的基本原理就是将一个矩阵中的样本数据投影到一个新的空间中去。当把所有的数据 都投射到该新空间时，我们希望平均方误差能尽可地小。

PCA主要步骤

1. 将原始数据按行排列组成矩阵X

2. 对X进行数据均值化得到X'

3. 求X'的协方差矩阵C

4. 求协方差矩阵C的特征值和特征向量，并将特征向量按特征值由大到小排列，取前k个按行组成矩阵P（原因：对于一个矩阵来说，将其对角化即产生特征根及特征向量的过程，也是将其在标准正交基上投影的过程，而特征值对应的即为该特征向量方向上的投影长度，因此该方向上携带的原有数据的信息越多。）

5. 通过计算Y = PX'，得到降维后数据Y

PCA实例 m=5