PCA笔记

参考：博客园-少年阿斌-机器学习降维-PCA
今天我学习了PCA（Principal Component Analysis）,主成分分析方法。是一种使用最广泛的数据降维算法。

PCA：将n维特征映射到k维上，这k维是全新的正交特征（主成分）。

第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。

可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，可以忽略余下的坐标轴。

如何得到这些包含最大差异性的主成分方向。通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。

由上面的公式，得到以下结论：

(1) 方差的计算公式是针对一维特征，即针对同一特征不同样本的取值来进行计算得到；而协方差则必须要求至少满足二维特征；方差是协方差的特殊情况。

(2) 方差和协方差的除数是n-1,这是为了得到方差和协方差的无偏估计。

协方差为正时，说明X和Y是正相关关系；协方差为负时，说明X和Y是负相关关系；协方差为0时，说明X和Y是相互独立。

推导PCA公式

坐标变换的目标是，找到一组新的正交单位向量，替换原来的正交单位向量。

……
参考：
https://zhuanlan.zhihu.com/p/35654077
https://zhuanlan.zhihu.com/p/55297233