主成分分析PCA

1. PCA的目的
   PCA（Principal Component Analysis）将原始数据降维成另一组数据。转换后的数据有两个要求：
   ① 同组数据间尽可能发散（方差越大越好）
   ② 各维数据间尽可能线性无关（协方差越小越好）
2. PCA的原理
   首先我们假设原始数据X为m组2维：
   $$X= \begin{pmatrix} a_1& a_2 & ... & a_m\\ b_1& b_2 & ... & b_m \end{pmatrix}$$
   那么上面的两个要求可以用协方差矩阵表示：
   $$\frac{1}{m}XX^T= \begin{pmatrix} \frac{1}{m}\sum_{i=1}^ma_i^2 & \frac{1}{m}\sum_{i=1}^ma_ib_i\\ \frac{1}{m}\sum_{i=1}^ma_ib_i& \frac{1}{m}\sum_{i=1}^mb_i^2 \end{pmatrix}$$
   我们希望协方差矩阵是一个对角阵最好，因为这样方差不为零，而协方差为零。
   假设原始数据为X，它的协方差矩阵为C
   假设X经过P变化为Y，即Y=PX
   假设降维后数据为Y，它的协方差矩阵为D
   我们现在的目的是让D为对角阵，由于有以下性质：
   $$\begin{matrix} D& = & \frac{1}{m}YY^T\\ & = & \frac{1}{m}(PX)(PX)^T\\ & = & \frac{1}{m}PXX^TP^T\\ & = & P(\frac{1}{m}XX^T)P^T\\ & = & PCP^T \end{matrix}$$
   此时，目标更明确了，我们要找到一个矩阵P，是的$PCP^T$是对角阵。
3. 如何找P
   数学上已经证明了，一个n行n列的对称矩阵C可以找到n个单位正交向量$e_1, e_2,..., e_n$，将其按列组合成$E=(e_1, e_2,..., e_n)$，使得$ECE^T$。所以我们千辛万苦要找的P就是特征向量按列组成的矩阵。
4. PCA算法步骤
   设有m条n维数据
   ①将数据组成n行m列的矩阵X
   ②将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值
   ③求出协方差矩阵$C=\frac{1}{m}XX^T$
   ④求出C的特征值和特征向量
   ⑤将特征向量按照特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P
   ⑥Y=PX即为降维到k维后的数据

参考：http://blog.codinglabs.org/articles/pca-tutorial.html