简单来说,PCA就是将数据从原始的空间中转换到新的特征空间中。例如原始的空间是三维的(x,y,z),x、y、z分别是原始空间的三个基,我们可以通过某种方法,用新的坐标系(a,b,c)来表示原始的数据,那么a、b、c就是新的基,它们组成新的特征空间。在新的特征空间中,可能所有的数据在c上的投影都接近于0,即可以忽略,那么我们就可以直接用(a,b)来表示原来的数据,这样数据就从三维的(x,y,z)降到了二维的(a,b)。
那么如何求新的基(a,b,c)呢?
可以分为一下几个步骤:
- 对原始数据零均值化(中心化);
- 求协方差矩阵;
- 求特征值和特征向量;
- 对特征值排序,将原始数据集投影到新的特征空间。
PCA–零均值化(中心化)
即变量减去它的均值,使均值为0(如下图)。 其实就是一个平移的过程,平移后使得所有数据的中心点是(0,0)。
PCA–协方差矩阵
协方差就是一种用来度量两个随机变量关系的统计量。协方差与方差的计算公式如下:
同一元素的协方差就表示该元素的方差,不同元素之间的协方差就表示它们的相关性:
当cov(X,Y)>0时,表示X与Y正相关;
当cov(X,Y)<0时,表示X与Y负相关;
当cov(X,Y)=0时,表示X与Y不相关。
协方差的性质主要有: