pca降维后的特征跟原来的特征有什么关系?_PCA和SVD的联系和区别？

这个问题我估计一大半人答不上来，看似两者都是降维的方法，但是两者到底有啥不同呢？

假设令

为要降维的矩阵，且假设这个矩阵是中心化的.

对于PCA来说，要求一个协方差矩阵

，则

,这是一个对称阵且可以被对角化，即

(Eq.1)

其中

是特征向量，

是对角矩阵中间数值为

，

就是降维后的向量，降维多少看你取前多少个特征向量了。

对于SVD来说，就是要对矩阵

进行如下：

(Eq.2)

其中

为左奇异向量(正交)，

为对角矩阵中间数值为

，

为右奇异向量(正交)。

联合上面两个式子，则有

(Eq.3)

比对式子1可以看到

,且有

。

总结一波：

1. 两者都是矩阵分解的技术，一个直接分解SVD，一个是对协方差矩阵操作后分解PCA
2. 奇异值和特征向量存在关系，即有
3. SVD可以获取另一个方向上的主成分，而PCA只能获得单个方向上的主成分，PCA只与SVD的右奇异向量的压缩效果相同
4. 通过SVD可以得到PCA相同的结果，但是SVD通常比直接使用PCA更稳定。因为在PCA求协方差时很可能会丢失一些精度。例如Lauchli矩阵

参考文献：

Relationship between SVD and PCA. How to use SVD to perform PCA? https:// blog.csdn.net/qq_244649 89/article/details/79834564 https:// blog.csdn.net/wangjian1 204/article/details/50642732
Relationship between SVD and PCA. How to use SVD to perform PCA?