PCA理解

部分一：概括

PCA(Principal
Component Analysis)，即主成分分析方法，有两种通俗易懂的解释：(1)最大方差理论；(2)最小化降维造成的损失。这两个思路都能推导出同样的结果。

其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。实现对数据特征的降维处理。

通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵，其中这k个特征向量就是包含最大差异性的主成分方向。

部分二：思想

将n维特征映射到m维上（m<n），这m维是全新的正交特征，称为主成分。PCA的核心思想就是将数据沿最大方向投影，数据更易于区分。

部分三：PCA算法两种实现方法

一.基于特征值分解协方差矩阵实现PCA算法

二.基于SVD分解协方差矩阵实现PCA算法

上述我们仅仅使用右奇异矩阵可以用于对列(即特征维度)的压缩。但是左奇异矩阵可以用于对行数的压缩；右奇异矩阵可以用于对列(即特征维度)的压缩。这就是我们用SVD分解协方差矩阵实现PCA可以得到两个方向的PCA降维(即行和列两个方向)。

部分四：原理推导

部分四：缺点

PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性就没有办法了，对于存在高阶相关性的数据，可以考虑Kernel PCA，通过Kernel函数将非线性相关转为线性相关，关于这点就不展开讨论了。另外，PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。