模式特征抽取研究进展

模式特征抽取研究进展

杨静宇,金忠,杨健

南京理工大学计算机科学与技术学院,210094,南京

摘要：

特征抽取不但从原始模式信息中提取出最有利于模式分类的特征，而且极大地降低模式样本的维数，是模式识别研究领域的重要研究内容。本文首先简要回顾模式特征抽取的经典方法，然后介绍近年来在主分量分析、非线性鉴别分析、流形学习、基于稀疏表示的图像特征抽取等方面的理论和方法研究的主要进展，最后分析了模式特征抽取研究趋势。

 

1．引言

模式识别是一个与人类的认知、视觉和听觉过程紧密相连的问题，其核心研究问题之一就是特征抽取（Feature Extraction)问题。人脑在每天感知外界事物的过程中，首先面临着一个特征抽取的问题， 即利用大约3万听觉神经纤维和100万视觉神经纤维，从高维的感官输入信息（如视频图像、音频信号等）中抽取便于管理的很小数量的感知关联特征来完成对事物的认识。

从模式样本的原始信息中提炼出最有利于模式分类的有效信息这一过程通常称为模式特征抽取。因此，特征抽取的过程本质上可以看成在一定准则下的优化问题。同时，在特征抽取的过程中，也极大地降低了模式的维数。因此，特征抽取不但从原始模式信息中得出了最有利于模式分类的特征，而且这些特征与原始样本信息相比，极大地降低了模式样本的维数，因此特征抽取也是一种维数削减的有效方法，这一点对高维模式样本（例如图像）识别而言十分重要。模式特征抽取问题可以定义为：在高维的观察样本空间中寻找其隐藏的有意义的低维数据结构，并藉此分析和探索事物的内在规律。在众多学科领域的研究中，科学工作者们经常需要处理海量的高维数据，如全球气候模式、恒星光谱、人类基因分布、遥感及视频图像等，因此，模式特征抽取问题研究具有广泛的应用前景。

国内外关于模式特征抽取理论与方法研究如火如荼。总体来说，特征抽取技术可分为两大类：线性特征抽取和非线性特征抽取。目前，线性特征抽取算法研究的侧重点在于小样本问题，该问题和样本数据的高维性是紧密相关的，因此在特征抽取研究中是不可回避的。对于非线性特征抽取，近年来无论理论研究还是应用开发都取得了长足的发展，有两个较大的分支值得注意。一是基于kernel的特征抽取技术[1-3]，以支持向量机、kernel主分量分析和kernel鉴别分析为代表；二是以流形学习（manifold learning）为主导的维数约减理论和技术[4]，2000年SCIENCE(科学)上的两篇文章开创了流形学习的先河[5,6]。有证据表明，基于流形学习的维数约减方法与人本身的认知机理具有某种内在的关联性，故该方法有着潜在的重要的研究价值。

图像是一种包含大量信息的媒体，图像信息的采集、处理、分析、检索和识别是当前信息科学与技术领域非常重要的研究课题。图像自动处理与分析是模式识别与计算机视觉学科研究的主要内容，图像特征抽取理论研究丰富与完善了模式特征抽取理论体系。近年来，有关生理学的研究成果表明：人类的视觉系统具有对图像的稀疏表示特性[7]，基于稀疏表示的压缩感知理论已引起信息论及相关领域极大的兴趣和广泛关注[8-10]，为模式特征抽取研究领域注入了新鲜的血液与发展动力。

本文介绍近年来在主分量分析、非线性鉴别分析、流形学习、基于稀疏表示的图像特征抽取等方面的理论和方法研究的主要进展，并分析了发展趋势。

 

2. 主分量分析

2.1 K-L变换

在统计模式识别理论中，主分量分析(Principal Component Analysis, PCA, 或称K-L变换)是最为经典的特征抽取方法[11-12]。设 为m维随机变量，主分量分析可以定义为寻找 个相互正交的m维单位向量 ，使得如下均方误差最小：

这里， 称为模式 第 个主分量， 为m维随机变量 的协方差矩阵 的前 个最大特征值所对应的本征向量:

其中 。

    主分量分析也可以等价地定义为寻找 个m维单位向量 ，使得如下方差 最大：

PCA特征 能够最大保持模式 的内在分布规律、并消除模式 分量之间的相关性，可以实现模式样本的维数削减。PCA使用线性模型来描述数据，具有简单，便于计算等优点，得到了广泛的应用。

 

2.2 非线性主分量分析

对于复杂模式来说，线性模型过于简单了，以至于无法反映复杂模式的内在规律。理论与实验都证明，复杂模式的特征之间往往存在着高阶的相关性，因此观测数据集呈现明显的非线性。为了适应这一特征，有必要将PCA向非线性推广。   

KPCA (核主分量分析)是一种成功的非线性主分量分析方法[2-3]，它旨在将输入空间通过非线性函数映射到更高维特征空间，并在高维特征空间中应用PCA方法。由于在输入空间中数据分量间存在复杂关系的情况下，在输入空间中应用PCA这一线性方法不能捕获对样本数据描述能力强的特征；此时，KPCA方法的意义得以彰显：KPCA在由非线性映射而得的高维空间中应用PCA的手段，因此，它仍能捕获对特征空间中样本数据描述能力强的特征。KPCA 方法广泛地应用于特征抽取, 人脸识别, 图像处理等问题。基于KPCA 方法对某样本进行特征抽取时, 需计算该样本与所有训练样本间的核函数; 训练样本集越大, 相应计算量也越大, 效率也越低, 而很多实际的模式分类任务要求系统具有较高的效率。因此，KPCA存在的其特征抽取效率随着训练样本集增大而下降的特点会使得该方法很难满足实际应用的效率需要，这将影响甚至制约该方法的推广和应用。

KPCA通过核技巧能够成功地将非线性的数据结构尽可能地线性化，其局限性就是它的计算复杂度。直观上，对于全局结构非线性的数据来说，从局部看，数据可以呈现出线性性质，因此用来描述数据的局部线性结构的局部PCA方法吸引了研究人员的兴趣[13-16]。Liu与Xu借助于Kohenen自组织映射神经网络提出了拓扑局部PCA模型[17]，该模型能够利用数据的全局拓扑结构与每个局部聚类结构。应用比较广泛的局部PCA方法是一个两步方案，首先利用矢量量化技术将数据空间分成若干个区域，然后在每个局部区域进行PCA分析。神经网络方法应用起来不方便，而两步方案的局部PCA方法描述局部的程度也不够充分。

在实际应用中，数据中可能存在孤立样本。 例如，在计算机视觉问题中，由于遮挡、光照条件变化，图像数据容易受到很大的影响。 由于协方差矩阵对孤立样本是非常敏感的，从而由解协方差矩阵的特征矢量问题得到的PCA特征的有效性会受到孤立样本的很大影响[18]。 Xu等假定所有的数据样本都是孤立样本[19]，通过利用统计物理方法由边际分布定义出能量函数建立了鲁棒PCA的自组织规则。Torre与Black提出了能够学习高维数据（例如：图像）的线性多变量表示的鲁棒PCA[20]。解决孤立样本问题的其它方法是建立协方差矩阵的鲁棒性估计，另一些方法是利用投影追踪（Projection Pursuit）技术[21-22]。最近，Burton利用平均技术得到人脸图像的鲁棒PCA表示[23]，而Zhao与Xu将常用的平方误差准则替换成对数平方误差准则建立了鲁棒PCA方法[24]。在高维空间，由于样本数的限制，孤立样本的判断更加困难，统计方法不再那么有效。

    最近，Xu研讨了KPCA特征抽取的加速方法[25]，Das提出了依赖于类的主成分分析（Classwise PCA），适合于类重叠度高的分类问题[26-27]。Park等提出了类增强的主成分分析(Class-Augmented PCA)[28]，分成三个步骤：对类信息编码、将编码信息增强进入数据、对类增强数据进行主成分分析。

 

2.3 二维主分量分析与张量分析

常规的PCA技术是针对矢量数据而言的，对于计算机视觉中的图像数据，一个直接的方法是将图像的各个象素数据叠加成一个矢量数据，但其维数就相当地高了。在高维空间中，由于训练样本数是有限的，很难精确地估计协方差矩阵。另外，将二维的图像矩阵转化为一维的矢量，只能部分保持图像像素的邻近关系。

    设 为 维随机矩阵， 二维主分量分析（Two-Dimensional PCA, 2DPCA）[29-30]可以定义为寻找 个n维单位向量 ，使得如下协方差矩阵的迹 最大：

这里， 为 维图像协方差矩阵。  可以称为2DPCA特征，其维数是 ，这样2DPCA需要比PCA更多的表示系数。

与常规的PCA的协方差矩阵相比，直接利用原始的图像矩阵构造的图像协方差矩阵维数要小得多。因此，2DPCA具有如下重要的优点：不改变图像像素的邻近关系，容易精确地估计图像协方差矩阵，计算相应的本征矢量所需要的计算量明显降低。

    2DPCA的提出引起了众多研究人员的极大兴趣， 不时可以看到新的研究成果发表[31-35]，已经引导出一系列的后续研究论文，主要集中在对算法的理解与计算技巧上[36]。Nagabhushan等将2DPCA用于3D物体识别[32]，Zuo等提出了一个聚集的矩阵距离测度来度量两个矩阵特征的距离[33], Chen等甚至提出了将矢量数据矩阵化的特征抽取方法[34]。Wang等研讨了图像PCA方法与按行分块的分块PCA方法的等价性问题[35]。 分块PCA方法看上去思路很简单，更容易直观理解。

    2DPCA作为“most popular dimensionality reduction algorithms”(最流行的维数削减算法)之一纳入到图嵌入的框架中[37].最近的研究工作进一步揭示了2DPCA用于图像表示的不变性[38]，即水平2DPCA 的变换矩阵独立于图像行序列的任何变化，竖直2DPCA 的变换矩阵独立于图像列序列的任何变化。

    2DPCA思想激发了特征抽取理论与应用从1阶张量（向量），到2阶张量（即矩阵）再到高阶张量的发展历程。最近，Xiaofei He等提出了张量子空间分析方法[39]， Wang等提出了二维图像与高维张量数据的Datum-as-Is表示法[40]。

 

3．鉴别分析

3.1 线性鉴别分析

线性鉴别分析（Linear Discriminant Analysis, LDA）的基本思想是由Fisher最早提出的，其目的是选择使得Fisher准则函数达到极值的向量作为最佳投影方向，从而使得样本在该方向上投影后，达到最大的类间离散度和最小的类内离散度。在Fisher思想的基础上，Wilks[41] 和Duda[42] 分别提出了鉴别矢量集的概念，即寻找一组鉴别矢量构成子空间，以原始样本在该子空间内的投影矢量作为鉴别特征用于识别。

Fisher线性鉴别分析无论在理论上还是在应用上都取得长足的发展[43-46]，成为一种广泛使用的、十分有效的特征抽取工具。在特征抽取的理论中，要求抽取的特征之间尽可能是不相关的，这一要求的出发点是有利于提高模式识别的准确性和实现最大限度的维数削减。Jin等[44-45]提出了具有统计不相关性的最优鉴别分析的概念和相关理论，该理论从统计不相关的角度，提出了具有统计不相关性的最优鉴别矢量集的定义。著名的Foley-Sammon鉴别矢量集通常难以消除模式样本特征之间的相关性，甚至经过Foley-Sammon变换后的特征分量之间有时是强相关的。与Foley-Sammon鉴别矢量集只满足正交条件不同的是，具有统计不相关性的最优鉴别矢量要求满足共轭正交条件。Jin等[45]揭示了两个经典的鉴别准则 与 之间的理论联系，建立了在特征提取投影方法中几何上的概念“正交条件”、“共轭正交条件”与统计上的概念“相关”、“不相关”之间的理论联系。

对于类别协方差矩阵不同的情况,异方差鉴别分析方法[46]可以得到比LDA 更好的分类性能。 Ridder对Fisher准则函数加以改进，将Fisher鉴别分析的理论体系加以拓广，使得其在理论和算法上具有更广泛的适用性[47]。H.F. Li等提出了最大边际准则[48]，用差分代替经典线性鉴别中的商，所以对类内散度矩阵的奇异不敏感。Song等提出了大间距线性投影鉴别准则[49]以及最大散度差鉴别准则[50]。Kwak等提出了模糊Fisher分析方法[51]，Zhuang等提出了逆Fisher鉴别分析方法[52]，Yang等研讨了模糊逆Fisher鉴别分析方法[53]。

 

3.2 小样本问题

   小样本问题是鉴别分析中的一个棘手问题，也是一个研究热点，它产生的主要原因是：