pca笔记

pca主成分提取
学习博文： http://www.cnblogs.com/pinard/p/6239403.html
原文摘录：

1.为什么u1比u2好呢？可以有两种解释，第一种解释是样本点到这个直线的距离足够近，第二种解释是样本点在这个直线上的投影能尽可能的分开。
 2.从n维降到n‘维的投影公式

 理解：
1.pca原则，区分度尽量大，损失尽量小
2.n’维的每一个向量是个向量在此方向上的的影响和
3.基于小于投影距离推理是为了证明寻找最佳的投影，就是要找到最大特征值，我寻找的是最小的投影向量zj，他就是提取后的可以起代表作用的特征
4.求最值用了拉格朗日乘数法（含条件的），也可以用梯度（求导数，可以是n阶导，n为奇数，呵呵，复习了一下数学）
4.
疑问：
1.为什么要进行中心化
2.为什么重构时要把wj乘在zj的后面
3.操作的是xTx
想法：
1.均值为0，便于数据处理，保证操作为有效信息，归一化应该是为了使方法更普适，也可以减小运算量
2.zj=wjTxi，这样处理之后，如果w可逆 特征值是不变的，w可看为特征向量，那么什么是超平面呢？
3.协方差矩阵对应lamda方，也可理解为模制最大，也可理解为投影差距最小
总结一下：要做的就是找到w求出z便是提取了特征
处理：取均值，减均值，得到差值矩阵，还要归一化，取特征值，求特征向量，找最大的j个特征值对应的特征向量，得到表示后的矩阵

禁止转载，欢迎指教