pca 矩阵 迹_降维（一）----说说主成分分析(PCA)的源头

降维系列：

---------------------

主成分分析(PCA) 在很多教程中做了介绍，但是为何通过协方差矩阵的特征值分解能够得到数据的主成分？协方差矩阵和特征值为何如此神奇，我却一直没弄清。今天终于把整个过程整理出来，方便自己学习，也和大家交流。

提出背景

以二维特征为例，两个特征之间可能存在线性关系的(例如这两个特征分别是运动的时速和秒速度)，这样就造成了第二维信息是冗余的。PCA的目标是为了发现这种特征之间的线性关系，检测出这些线性关系，并且去除这线性关系。

还是以二维特征为例，如下图。特征之间可能不存在完全的线性关系，可能只是强的正相关。如果把x-y坐标分解成u1-u2坐标，而u1轴线上反应了特征的主要变化(intrinsic)，而u2的特征变化较小，其实可以完全理解为一些噪声的扰动而不去考虑它。PCA的任务就是找到u1和u2。

预处理：

将每一维特征的均值中心化，方差归一化。

PCA的数学目标：

特征的主方向，就是特征幅度变化最大的方向