k-l变换matlab,特征提取——主成分分析PCA（K-L变换）及几何解释

在模式识别中接触到K-L变换的时候懵懵懂懂的，只知道是特征选择，不知道究竟怎么用，后来做图像处理需要用到PCA，才发现和K-L变换时一伙的，再好好做做功课，把他们整理整理。

预备知识：

维度灾难：对于一组已知的样本，存在特征数目的最大维数当使用的特征数目超过这个最大值时，分类器的性能不但不能得到改善反而会退化。

为了避免维度灾难需要进行特征降维

进行特征降维的两类方法：特征选择( Feature Selection )和特征提取(Feature Extraction)。

特征选择：也称特征子集选择( Feature Subset Selection , FSS )，选择全部特征的一个子集作为特征向量。

特征提取：通过已有的特征通过映射或变换的方法建立一个新的特征集，这样用低维空间的特征描述高维空间的特征。

K-L变换和PCA属于特征提取的范畴

特征提取的应用：主要应用于计算机视觉和图像处理中，决定图像上的每个点是否属于一个图像特征，然后把这些点分为不同的子集。常用的图像特征有：纹理特征，颜色特征，形状特征，空间关系特征等。

特征提取的方法：边界方向直方图法，颜色直方图提取，PCA，Fourier变换，基于tamura的纹理特征提取等等。

因其通过特征的线性组合实现降维的方法，故沿承了线性变换的优点：计算简便，便于解析分析。

K-L变换或者PCA的过程：