PCA原理以及算法实现

一.算法介绍

PCA（Princiapal Component Analysis）,主成分分析，是统计数据分析、特征提取和数据压缩的经典方法，起源于Pearson的早期工作。实际上，PCA主要作用就是将一个存在信息冗余的多维空间变成一个无信息冗余的较低维空间，是一种通用的降维方法。

举个例子，从一幅数字图像中取出一个8x8的像素窗口，首先通过逐行扫描，变换到向量$x$,其元素为64个像素的灰度值，在实时的数字视频传输中，由于数据量很大，所以在保证视频质量不至于损失太多的同时，应该尽量减少数据量。使用PCA，由$x$可以得到一种压缩表示$y$,这里y可以只有10个元素，这样就能方便的用来存储和传输了。这种压缩是可能的，因为$x$的相邻元素，即相邻像素的灰度值，是高度相关的。

二.算法原理

假设向量$x$是一个n维的随机变量，并且$x$的均值为0，

$$E(x)=0$$
我们想要求得这样的一个m*n的 $w$权值矩阵，将n维度的特征空间映射成m维的特征空间，
$$y=wx$$
这里，我们需要考虑的是怎样的映射才是符合优化要求的，我们知道向量 $x$的特征之间存在冗余信息，因而我们期望y的各个特征维度之间是正交的，且每一个维度上的分布尽可能的分散，也就是每个维度的方差尽可能的大，我们考虑到y的协方差矩阵，假设
$$y=(y_1,y_2,...，y_m)$$
那么y的协方差矩阵D为，