K-L变换

K-L变换是主成分分析（PCA）的基础，PCA可以通过K-L变换得到互不相关的向量。 K-L变换并没有实现降秩。

【【】】

核心问题是选择转换矩阵A，当使得它的列向量是Rx的正交本征向量时，Ry是对角的。在保证（6.12）式的前提下计算出的y的值就是所求的不相关的投影值。

K-L变换也常称为主成分变换(PCA)或霍特林变换，是一种基于图像统计特性的变换，它的协方差矩阵除对角线以外的元素都是零，消除了数据之间的相关性，从而在信息压缩方面起着重要作用。在模式识别和图像处理中一个主要的问题就是降维，在实际的模式识别问题中，我们选择的特征经常彼此相关，在识别这些特征时，数量很多，大部分都是无用的。如果我们能减少特征的数量，即减少特征空间的维数，那么我们将以更少的存储和计算复杂度获得更好的准确性。如何寻找一种合理的综合性方法，使得：1减少特征量的个数。2尽量不损失或者稍损失原特征中所包含的信息。3使得原本相关的特征转化为彼此不相关（用相关系数阵衡量）。K-L变换即主成分分析就可以简化大维数的数据集合。它还可以用于许多图像的处理应用中，例如：压缩、分类、特征选择等。

K-L变换的原理:目的是寻找任意统计分布的数据集合主要分量的子集。基向量满足相互正交性，且由它定义的空间最优的考虑了数据的相关性。将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation)降低到最低点。

对某一n个波段的多光谱图像实行一个线性变换，即对该多光谱图像组成的光谱空间X乘以一个线性变换矩阵A，产生一个新的光谱空间Y，即产生一幅新的n个波段的多光谱图像。其表达式为Y = AX。式中：X为变换前多光谱空间的像元矢量；Y为变换后多光谱空间的像元矢量；A为一个n×n的线性变换矩阵。

对于K-L变换中的矩阵A，必须满足以下要求：A为n×n正交矩阵，A=[φ1,φ2,φ3,…,φn]。对正交矩阵A来说，取φi为X的协方差矩阵∑x的特征向量，协方差矩阵除对角线以外的元素都是零。变换Y=A^TX与反变换X=AY即为K-L变换的变换公式。A的作用实际上对各分量加一个权重系数，实现线性变换。Y的各分量的信息的线性组合，它综合了原有各分量的信息而不是简单的取舍，这使得新的n维随机向量Y能够较好的反映事物的本质特征。

一维K-L变换举例：

第一步：定义协方差矩阵

【【1】】

第二步：求协方差矩阵的特征值和特征向量

【【2】】

第三步：定义变换核矩阵和反变换

【【3】】

如果是二维的图像或数据，可以通过行堆叠或列堆叠等方式将其转换为一维。

K-L变换以原始数据的协方差矩阵的归一化正交特征矢量构成的正交矩阵作为变换矩阵，对原始数据进行正交变换，在变换域上实现数据压缩。它具有去相关性、能量集中等特性，属于均方误差测度下，失真最小的一种变换，是最能去除原始数据之间相关性的一种变换。

K-L变换虽然具有MSE意义下的最佳性能，但需要先知道信源的协方差矩阵并求出特征值。求特征值与特征向量并不是一件容易的事，维数较高时甚至求不出来。即使能借助计算机求解，也很难满足实时处理的要求，而且从编码应用看还需要将这些信息传输给接收端。这些因素造成了K-L变换在工程实践中不能广泛使用。人们一方面继续寻求解特征值与特征向量的快速算法，另一方面则寻找一些虽不是“最佳”、但也有较好的去相关与能量集中的性能且容易实现的一些变换方法。而K-L变换就常常作为对这些变换性能的评价标准。

 

http://blog.sina.com.cn/s/blog_4b12446d01014y9w.html