降维- PCA

http://www.360doc.com/content/13/1124/02/9482_331688889.shtml

PCA的主要作用是对数据进行降维操作。其本质是寻找合适的基，该基需要满足数据在该基上更“离散”。

因此PCA得重点是如何选择基。

将M个N维数据降到K维，则需要寻找K个N维基的新空间。具体原因参考线性代数矩阵相乘的几个意义，这里简单解释一下：
矩阵A和矩阵B相乘，AB,表示将矩阵B的每一列向量转化到矩阵A的每一行为基所表示新空间中去。

aj是N维的。

现在开始讲如何寻找这组基
首先这组基应该满足两个条件：（1）使得在新空间中，矩阵B行向量中各个数间的方差最大（为了不同点的投影不重叠，避免 原始数据信息的丢失）
（2）使得在新空间中，矩阵B列向量间各个数间的协方差为0（为了各个数相互独立，减小信息的重复）
方差注意，这里的a和上面矩阵中的a不一样。这里的a是上面N维向量a中的一个值
协方差这里的a，b为矩阵B中的列向量中的两个值（也可以更多）、
例如矩阵B为：

首先我们先计算字段（行）间的均值，并用该字段中的各个数减去均值。第一行的均值为2，第二行的均值为3，得到如下矩阵

为什么进行这一步呢，继续往下看
假如我们有如下矩阵X

然后做如下运算，

我们会惊奇的发现，主对角线上的元素和我们想要的方差特别像，如果我们将矩阵B中的元素都减去所在行的均值，这样得到的数就可以直接进行方差运算了！
第i行j列和第j列i行的值一样，都表示i和j两个字段间的协方差！

还记得我们上面说的，需要协方差为0吗？那么我们将对角化为矩阵D

我们可以发现。P就是我们刚开始需要的基。因此寻找基的过程就转换成了求使协方差矩阵对角化的矩阵。

实例在链接里！！！