本文探讨PCA（主成分分析）和SVD（奇异值分解）的区别与联系。PCA寻找正交属性空间的主成分方向，保证样本点的最近重构性和最大可分性。SVD不仅可以获取主成分，还能用于计算矩阵的伪逆，且在数值稳定性上优于PCA。LSI（隐语义索引）常基于SVD进行降维。SVD在处理某些矩阵时，如Lauchli矩阵，能提供PCA可能丢失的精度。
参考：http://blog.csdn.net/wangjian1204/article/details/50642732
http://www.cnblogs.com/lzllovesyl/p/5243370.html
PCA
图1.寻找主成分方向
对于正交属性空间的样本点，如何用一个超平面（直线的高维推广）对所有样本进行恰当表达？
- 最近重构性：一样本点到这个超平面的距离都足够近
- 最大可分性：样本点在这个超平面上的投影尽可能分开
SVD
如果对矩阵M做奇异值矩阵分解（SVD分解）：
M=USV⊤
区别与联系：
SVD另一个方向上的主成分
SVD可以获取另一个方向上的主成分，而PCA只能获得单个方向上的主成分：
1nXX⊤=1nU
最低0.47元/天 解锁文章
2366
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
