主成分分析与奇异值分解的关系

假如我们的原始数据矩阵是$\mathbf{X}$，维度是$n\ast m$。

主成分分析：
首先计算$X$的协方差矩阵，$C$的维度是$m\ast m$：
$$C=Cov(X)$$
然后对协方差矩阵进行特征分解，这里$P_{m\ast m}$由$C$的特征向量组成，对角矩阵${\Lambda }_{m\ast m}$由$C$的特征值组成：
$$C=P\Lambda P^{-1}$$
最后选取前$r$列得到$P_{m\ast r}$，原始数据通过以下方式降维：
$${\tilde{X}}_{n\ast r}=X_{n\ast m}{P}_{m\ast r}$$

奇异值分解：
$X$可以被分解为三个矩阵的乘积：
$$X_{n\ast m}=U_{n\ast n}{\Sigma }_{n\ast m}{V}_{m\ast m}^T$$

我们知道$U$是由$X{X}^T$的特征向量组成，$V$是由$X^{T}X$的特征向量组成，而$\Sigma$由$X{X}^T$特征值的平方根组成。

联系是什么？
当$X$是中心化了的数据，也就是说均值为0，其协方差矩阵可以由$\frac{1}{n-1}{X}^{T}X$计算得到。

而可以看到在SVD中，$V$就直接是由$X^{T}X$的特征向量组成的，那这里的$V$就相当于上面的$P$。

因此，原始数据中心化后还可以直接使用SVD的结果进行降维：

$${\tilde{X}}_{n\ast r}=X_{n\ast m}{V}_{m\ast r}$$

注意前提条件：中心化了的原始数据。