主成分分析PCA（Principal Component Analysis）介绍

很久之前，有一次做人脸识别的时候用过PCA，大概记得是降维用的，然后前段时间用到LDA的时候顺带看到PCA才发现忘的差不多了，干脆把一些资料整理一下吧。

一.K-L变换

说PCA的话，必须先介绍一下K-L变换了。

K-L变换是Karhunen-Loeve变换的简称，是一种特殊的正交变换。它是建立在统计特性基础上的一种变换，有的文献也称其为霍特林（Hotelling）变换，因为他在1933年最先给出将离散信号变换成一串不相关系数的方法。
K-L变换的突出优点是它能去相关性，而且是均方误差（Mean Square Error，MSE）意义下的最佳变换。

下面就简单的介绍一下K-L变换了。

设，随机向量X ∈Rⁿ(n阶列向量)，它的均值向量为m_X，则其协方差矩阵可以表示为

C_x= E{(X-m_x)*(X-m_x)^T}                           （2.1）

C_x