参考:http://blog.csdn.net/wangjian1204/article/details/50642732
http://www.cnblogs.com/lzllovesyl/p/5243370.html
PCA
图1.寻找主成分方向
对于正交属性空间的样本点,如何用一个超平面(直线的高维推广)对所有样本进行恰当表达?
- 最近重构性:一样本点到这个超平面的距离都足够近
- 最大可分性:样本点在这个超平面上的投影尽可能分开
SVD
如果对矩阵M做奇异值矩阵分解(SVD分解):
M=USV⊤
区别与联系:
SVD另一个方向上的主成分
SVD可以获取另一个方向上的主成分,而PCA只能获得单个方向上的主成分:
1nXX⊤=1nU