PCA数学原理

基本步骤：

（1）对数据进行归一化处理（代码中并非这么做的，而是直接减去均值）

（2）计算归一化后的数据集的协方差矩阵

（3）计算协方差矩阵的特征值和特征向量

（4）保留最重要的k个特征（通常k要小于n），也可以自己制定，也可以选择一个阈值，然后通过前k个特征值之和减去后面n-k个特征值之和大于这个阈值，则选择这个k

（5）找出k个特征值对应的特征向量

（6）将m * n的数据集乘以k个n维的特征向量的特征向量（n * k）,得到最后降维的数据。

要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。

那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。

上文说到，我们希望投影后投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。此处，一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值，即：