基于全局信息的人脸识别总结

 

 

一、           课题名称

基于全局信息的人脸识别算法研究

 

二、           课题的提出

在当今社会中，身份确认具有十分重要的价值。随着网络技术的发展，信息安全也显示出了前所未有的重要性。在经济、政府、安防和社会保障等领域存在巨大的应用价值，尤其是在需要对用户身份进行识别和验证的场合。当前用于个人身份鉴认的主要是ID卡（如身份证、工作证、学生证、银行卡）和密码口令。各种ID卡容易遗失、被盗窃、携带不便等缺陷，而且现在的不法分子的制作假ID卡的手段越来越高明。作为另一种常见的身份鉴别形式的密码口令，则容易被遗忘和破译，尤其是人们为了便于记忆，而以自己的生日、姓名电话号码和其他各种与自己紧密相关的公开的号码为密码，其安全性存在严重的隐患。

近年来，人类的生物特征越来越广泛的应用于个人的身份鉴认，相比于传统的方法安全、可靠、特征唯一、稳定性高，不易被盗窃和破解。人类固有的生物特征主要有：DNA、指纹、虹膜、语音、步态、掌纹、人脸等，基于人们对独立的个体特征的认知，结合先进的计算机技术和模式识别理论，诸如DNA识别技术、指纹识别技术、人脸识别技术等纷纷发展起来[1][2]。

就目前的研究水平而言，DNA鉴定和指纹识别具有较高的识别率，可靠性最强但其使用的强约束条件还是限制了这两种方法的使用。人脸识别相比于其他的生物特征识别方法具有如下的强大优势：（1）无需用户过多参与，非接触式采集，无侵犯性；（2）对用户没有任何明显刺激，便于隐藏；（3）设备成本低廉，主要是采用摄像头来搜集人脸。因而人脸识别作为一种特殊的生物特征识别技术，拥有许多独特的应用环境，如罪犯搜捕、自动门禁系统、海关过境检查、信用卡确认等。

人脸识别技术的研究涉及到心理物理学、神经科学、图像处理、模式识别、计算机视觉、统计学和人工智能的众多学科[3][4][5]，因而技术门槛高，具有可观的盈利前景。国外已经开发出了一些成熟的人脸识别应用系统和各种辅助系统，但由于种族差异，暂时还很难进入我国市场，而国内仅有部分产品投入市场，因而国产的人脸识别系统仍存在广阔的市场。

人脸识别涉及到大量的二维图像的运算，计算复杂性高、运算量大，而且具有较强的实时性要求，而各种嵌入式芯片的发展也为人脸识别提供了硬件基础[4]。

 

三、人脸识别的研究内容

3.1 人脸识别系统的构成

狭义的人脸识别（Face Recognition）就是根据系统新输入的人脸，与已有的人脸数据库进行比对，来判断该人脸是否在人脸库中；如果在该人脸数据库中，则给出所对应的具体的个体信息[6]。而广义的人脸识别可以包含以下几个方面[51][52]：

（1）人脸检测（Face Detection）：即从不同的场景中检测出人脸的存在并确定其位置。这一任务主要受光照、噪声、头部倾斜度以及各种遮挡的影响。

（2）人脸表征（Face Representation）：即确定表示检测出的人脸和数据库中的已知人脸的描述方式。通常的表示方式包括几何特征（如欧式距离、曲率、角度等）、代数特征（如矩阵的特征矢量）、固定特征模板、特征脸、云纹图等。

（3）人脸识别（Face Identification）：即通常所说的人脸识别，就是将待识别的人脸和数据库中的已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸表示方式与匹配策略。

（4）表情分析（Facial Expression Analysis）：对待识别的人脸的表情进行分析，并对其加以分类。

（5）物理分类（Physical Classification）：即对待识别人脸的物理特征进行分类，得出其年龄、性别、种族等相关信息。

本文中如无特殊说明，所提的人脸识别均是指狭义的人脸识别。上世纪80年代以后，自动人脸识别技术得到了迅速的发展，并且取得了大量的研究成果。下面给出一个自动人脸识别系统的系统框图：

                  图1 自动人脸识别系统框图

一个典型的自动人脸识别系统如图1所示，分为训练和识别两个步骤，两个步骤都需要检测和定位人脸、人脸图像的预处理和特征提取和选择。其中前者一般是离线运算的，而识别则是在线操作的。

（1）人脸的检测和定位，即检测所给图像中有没有人脸存在，若有则将人脸标示出来，这对于简单背景的单个人脸图片实现是比较容易的，而当人脸的背景过于复杂，或者是图片中存在多张人脸时，检测则相对比较困难。现有的算法一般都只能适用于一定的环境，无约束环境下的人脸检测问题仍然没有得到很好的解决。人脸检测的主要困难主要体现在人脸是一个非刚性物体，在不同表情下，脸部器官的运动迥异；胡须、眼镜、头发等结构特征的影响；光照、视角、成像条件增加了检测的难度；墨镜、围巾等遮挡物也会产生不利影响。

（2）人脸图像的预处理，人脸检测得到的人脸图像，可能存在倾斜和光照不好等情况，一般需要进行几何归一化和灰度归一化的工作。几何归一化是将人脸通过图像处理技术变换为大小一致且人脸不存在偏角的图片。灰度归一化则就是对图像进行光照补偿，如主元分析法则会采用去均值的手段，必要的时候可以用标准差进行归一化。

（3）特征提取和选择[46][48]，识别人脸主要是依据人脸上的特征，也就是说依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的度量。 这到目前为止还没有找到非常理想的特征提取方法，在实际操作中主要是通过各种各样的变换来达到降维的效果，如特征脸方法中K-L变换就是属于特征提取，而之后的主元选取就是属于特征选择。除此之外还有DFT、DCT、小波变换等等。以上都是基于整个人脸的特征提取，还存在基于局部特征的提取方法，如利用显著器官（眼、鼻、耳、嘴等）之间的距离关系以及通过训练学习求得的局部特征，Gabor变换就是一个典型。

（4）人脸识别，在识别前对人脸库进行处理，得到各个个体的特征信息，单独建立一个新的数据库，在识别过程中，只要采用同样的方法得到输入人脸图片的特征信息，并与库中的各个体信息进行比较。在比较之前需要确定相似性尺度，常用的是欧氏距离和基于贝叶斯准则的概率尺度。识别可以分为两种：一种是人脸辨认，即需要确认被识别者的具体的个体信息；另一种是身份证实，只要判断识别对象是否在数据库中个体的一员。

整个人脸识别的研究主要是围绕特征提取和特征选择展开的。因为之前预处理步骤和图像处理的工作是相通的，而之后的识别步骤和一般的模式识别问题是一致的。人脸变化复杂，是一个塑性变形体，和生理学和心理学紧密相连，而且对于人类的识别能力，在许多解释上还存在分歧[2]，仍需要做进一步的深入研究。

3.2人脸识别方法的分类

在过去的几十年中出现了很多人脸识别方法，尤其是上世纪90年代以后人脸识别更是迅猛发展。从获取人脸的渠道，可以将人脸识别分为静止图像人脸识别和视频人脸识别。这里我们按照W. Zhao等人的分类方法[5]，将静止图像的人脸识别分为以下三种：

（1）           基于全局信息的方法。将人脸的所有区域作为人脸识别系统的初始输入，其中的典型就是特征脸和Fisher脸方法。

（2）           基于局部特征的方法。显著器官（如眼、鼻、耳、嘴等）首先被抽取出来，然后进行几何分析或统计分析，并将其作为结构化分类器的输入。

（3）           综合方法。就像人类自身的识别一样，同时使用全局和局部信息来识别人脸，这种方法要比前两种方法优越。

表1中给出了主要的人脸识别方法，这种对人脸识别方法的分类得到了国内外许多学者的认可。除此之外，苏剑波、徐波等人还将识别方法分为传统识别和现代识别方法，而后者又分为：（1）基于统计的识别方法；（2）基于连接机制的识别方法；（3）其他的一些综合方法[51]。由于人脸识别涉及的领域众多，采用的方法也多种多样，很难对其进行特别清晰的分类。基于信息融合的思想，许多情况下是将多种识别方法结合在一起使用，这样可以显著地提高识别性能。

方法		相关工作
基于全局信息方法 主元分析法（PCA） 特征脸 双子空间法 统计特征脸 Fisher脸/子空间LDA 支持向量机 进化匹配 特征线 独立元分析（ICA） 贝叶斯方法 其他表示方法 LDA/FLD PDBNN	PCA的直接应用[6][7] 基于K-L变换的两层最小距离分类器[8] 采用概率尺度进行两类分类[9] 在特征脸空间中使用FLD（Fisher线性判决）[10] 基于SVM的两类分类问题[19][20][21] 增强的GA学习[22] 采用点线距离的相似性尺度[23] 独立元特征分析[21][24] 基于概率尺度对类内类间差异空间分析[25][26]   在原始人脸图片中采用各种FLD/LDA[11][12][13][14][15][16][17][18] 神经网络的概率决策[27]
基于局部特征的方法 纯几何方法   动态连接结构 隐马尔科夫链 进化神经网络	早期方法为显著的人脸器官之间的几何尺寸关系；近期主要是通过训练求得显著区域（如Gabor变换） 弹性图匹配方法 隐马尔可夫链方法 基于CNN的SOM学习
综合方法 混合线性特征分析 形状标准化 基于人脸成分	局部特征方法 弹性外貌模型 人脸区域和成分

表1  静态人脸识别技术分类

3.3人脸识别系统的评价 [4][5][51][53]

人脸识别系统在设计好了之后需要进行性能评价，判断该系统和所采用的识别算法能否投入使用，可靠性有多高，稳定性是否良好。在涉及评价机制时必须要考虑以下几点：（1）要有大量的样本用于评价；（2）训练集中的人脸样本应该在统计意义上与测试样本比较接近；（3）要同时研究系统的错误接受率（Costs of errors) 和错误拒绝率（Reject-error）。

人脸识别系统评价的常用指标包括以下几点：

（1）       系统识别率（Accuracy Requirements），即要求系统的识别率高，主要用错误接受率和错误拒绝率两个指标来衡量，并且存在以下关系：识别率=100% - 错误接受率 - 错误拒绝率。

（2）       对样本的约束（Constraints on Samples），在不影响识别性能的情况下，要求训练样本数尽可能少，测试样本应比实际应用场合更为复杂，同时也要考虑系统的鲁棒性。

（3）       速度和硬件的要求（Speed and Hardware Requirements），要求系统的训练速度和识别响应速度尽可能快，而对系统的硬件要求尽可能低。

（4）       人机界面（Human Interface），希望系统的人机界面友好，而又不影响系统的实际应用。

由于本课题主要从事人脸识别理论性的算法研究，更多的是考虑系统识别率和对样本约束这两个指标。

 

四、人脸识别的研究现状和前景

 

4.1 常见的基于全局信息人脸识别方法简介

设人脸图像为二维