PCA学习笔记

http://blog.csdn.net/xiaojidan2011/article/details/11595869
这篇文章讲的不能再好了，mark一下，摘两句话，然后做一下总结。

1、两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。

2、将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。

以例子总结：
问题：现在有15个特征，200个样本，要简化到5个特征。
目标：寻找使矩阵A[200*15]投影后方差最大的前五个正交基，并投影。

流程：
1、求A矩阵的协方差矩阵B[15*15]。这里是因为最终的目标就是方差最大，协方差最小，而协方差矩阵主对角线就是方差，其他是协方差。
2、协方差矩阵对角化（特征分解），求出按大小排列的特征值和特征向量P。
3、矩阵A和P做内积（即求投影），取前5列，完毕。补：N个特征向量就是N个标准正交基，特征值的模代表矩阵在每个基上的投影长度。特征值越大，说明盖矩阵在对应的特征向量上方差越大，信息量越多。