PCA 通过 SVD 分解替代协方差矩阵的特征值分解

在周志华的《机器学习》第 10 章介绍“主成分分析”一节中，有这样一句批注：

实践中常通过对 $X$ 进行奇异值分解来替代协方差矩阵的特征值分解。

下面解释这句话的意思。

首先我们复习一下，将任意形状的矩阵 $X$ 如何进行 SVD 分解，其基本思路是构造对称矩阵。

$$X^{T}X=(V{\Sigma }^T{U}^T)(U\Sigma V^T)=V{\Sigma }^T(U^{T}U)\Sigma V^T=V{\Sigma }^T\Sigma V^T$$

$$X{X}^T=(U\Sigma V^T)(V{\Sigma }^T{U}^T)=U\Sigma (V^{T}V){\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T$$

这里 $X^{T}X$ 是协方差矩阵，是一个方阵，并且有：

1. $V$ 是 $X^{T}X$ 的特征向量按照列排成的矩阵（按照 $X^{T}X$ 的特征值从大到小对应排列）；
2. $U$ 是 $X{X}^T$ 的特征向量按照列排成的矩阵（按照 $X{X}^T$ 的特征值从大到小对应排列）。

PCA 是对 $X$ 的协方差矩阵 $X^{T}X$ 做特征值分解，即要得到的是矩阵 $V$ 。

而 PCA 求出的 $V$ 只是坐标旋转以后的新线性空间的标准正交基，降维还得做线性变换，即用矩阵 $V$ 右乘，得 $XV$ ，矩阵 $XV$ 才是我们关心的降维以后的数据。由 $X=U\Sigma V^T$，可以得到 $XV=U\Sigma$，即新线性空间的坐标。

SVD 的经典算法有 Golub-Kahan 算法、分治法、Jacobi 法几种，这些算法其实都比较快，在一些软件底层的实现中，采用的是上述方法中的一种。因此，我们想要的是 $V$，经典算法帮我们快速算出了 $V$，因此就没有必要先算 $X^{T}X$，再对其做特征值分解了。这其实就是书上这句批注的意思。