奇异值分解(SVD)原理

在主成分分析（PCA）中，需要求协方差矩阵的特征值λ与特征向量V，如果矩阵较大，计算起来太消耗内存。而奇异值分解可以不通过协方差矩阵获取特征值λ与特征向量V。

奇异值分解方法见：奇异值分解(SVD)原理与在降维中的应用

SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：A=UΣV^T

其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足U^TU=I,V^TV=I，U^TU=I,V^TV=I。

在主成分分析（PCA）原理总结中，我们讲到要用PCA降维，需要找到样本协方差矩阵的最大的d个特征向量，然后用这最大的d个特征向量张成的矩阵来做低维投影降维。可以看出，在这个过程中需要先求出协方差矩阵，当样本数多、样本特征数也多的时候，这个计算量是很大的。

注意到SVD可以得到协方差矩阵最大的d个特征向量张成的矩阵，但是SVD有个好处，有一些SVD的实现算法可以不求先求出协方差矩阵，也能求出我们的右奇异矩阵V^T。也就是说，我们的PCA算法可以不用做特征分解，而是用SVD来完成。这个方法在样本量很大的时候很有效。实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是我们认为的暴力特征分解。

其中奇异值的平方即A的协方差矩阵的特征值，V是一个n×n的矩阵，它是A的协方差矩阵的特征向量。证明见奇异值分解(SVD)原理与在降维中的应用。

简而言之，当数据量很大时，PCA中计算原始数据A的协方差矩阵的特征矩阵很麻烦，不如计算奇异值及其右奇异矩阵V^T来得简单方便。