编写KL变换的思路

一、KL公式

KL变换是从n维特征中选取m维(m<n)，并使得选取出来的m维特征可以表示原来n维特征的信息（损失最小）。

                                                                 Y = Φ X

其中X表示变换前的矩阵，Y表示变换后的矩阵， Φ表示变换矩阵。为了实现变换后的矩阵特征之间的独立， Φ需要是对角阵。

我们常常利用相关矩阵  或者  协方差矩阵（图像处理中常采用）来体现数据之间的相关性（比如若协方差矩阵是对角阵，则他们的互协方差为0，特征之间不相关）

如何求Φ ？

假设我们已经求出协方差或者相关矩阵A，下面需要解求本征值λ和本征向量Φ

|A - λE| = 0     解λ

将解出的每个λ依次带入(A-E)x =0 

每次解出的x矩阵就是所要求的本征向量矩阵 Φ

再利用Y = Φ X得出结果向量Y (如有需要，则利用 Y = Φ (X - mX) 进行中心化)

附：

特征值和特征向量定义：   

                         设A是n