σ=1/m∑mi=1(xi)(xi)T
[U,S,V]=svd(Sigma);
Ureduce=U(:,1:k);
z=Ureduce’*x;
参数选择:
1.k:
1m∑mi=1||xi−xiapprox||21m∑mi=1||xi||2≤0.01
*
Xapprox=UreduceZ
(reconstruction公式)
简单计算方法:[U,S,V]=svd(Sigma);
其中的S是一个对角阵,只有对角线上元素非零。
1−∑ki=1Sii∑ni=1Sii≤0.01
即
∑ki=1Sii∑ni=1Sii≥0.99
Application:
1. Compress data
2. visualization
3. handle overfitting(最好不要用,最好使用regularization)
4. advice:在ML system里面,先用origin data试一下,不行再用PCA做预处理。
PCA原理: