主成分分析PCA

简单来说，PCA就是将数据从原始的空间中转换到新的特征空间中。例如原始的空间是三维的(x,y,z)，x、y、z分别是原始空间的三个基，我们可以通过某种方法，用新的坐标系(a,b,c)来表示原始的数据，那么a、b、c就是新的基，它们组成新的特征空间。在新的特征空间中，可能所有的数据在c上的投影都接近于0，即可以忽略，那么我们就可以直接用(a,b)来表示原来的数据，这样数据就从三维的(x,y,z)降到了二维的(a,b)。

那么如何求新的基(a,b,c)呢?

可以分为一下几个步骤：

1. 对原始数据零均值化（中心化）；
2. 求协方差矩阵；
3. 求特征值和特征向量;
4. 对特征值排序，将原始数据集投影到新的特征空间。

PCA–零均值化（中心化）

即变量减去它的均值，使均值为0（如下图）。 其实就是一个平移的过程，平移后使得所有数据的中心点是(0,0)。

PCA–协方差矩阵

协方差就是一种用来度量两个随机变量关系的统计量。协方差与方差的计算公式如下：

同一元素的协方差就表示该元素的方差，不同元素之间的协方差就表示它们的相关性：
当cov(X,Y)>0时，表示X与Y正相关；
当cov(X,Y)<0时，表示X与Y负相关；
当cov(X,Y)=0时，表示X与Y不相关。

协方差的性质主要有：