深入理解PCA与SVD的关系

先简单回顾下主成分析PCA(principle component analysis)与奇异值分解SVD(singular value decomposition)。

一、主成分析PCA

1、所解决问题

2、所依赖的原则

根据降维并减小信息损失的目标，可以得出以下两个原则

• 降维后的各个维度之间相互独立，即去除降维之前样本x中各个维度之间的相关性。
• 最大程度保持降维后的每个维度数据的多样性，即最大化每个维度内的方差

3、问题求解方法

式1就是协方差矩阵C的特征值分解，变换矩阵P即是矩阵C的前k个特征向量按行组成的矩阵。所以，PCA的求解步骤为：

1. 求X均值
2. 将X减去均值
3. 计算协方差矩阵C
4. 对协方差矩阵C特征值分解
5. 从大到小排列C的特征值
6. 取前k个特征值对应的特征向量按行组成矩阵即为变换矩阵P

这里的核心问题是协方差矩阵C的特征值分解。

二、奇异值分解SVD

1、所解决问题

2、问题求解方法

三、PCA与SVD的关系

转载于:https://juejin.im/post/5c9a3f38f265da60c76ce95a