Techniques andChallenges of Face Recognition: A Critical Review学习

文章链接：https://pan.baidu.com/s/1jzLa6-8hS_AiDX6qxUW-Ow

面部识别的技术与挑战

abstract
最近二十年来，针对计算机视觉领域的对象识别，形状匹配和模式识别进行了大量研究。人脸识别是物体识别和计算机视觉中的重要问题之一。在我们的日常活动中，许多生物识别应用程序可用于识别人类，例如眼睛或虹膜识别，指纹识别，面部识别。面部是人类的重要组成部分，需要针对不同的应用程序进行检测，例如安全性，法医调查。在静止物体或视频序列图像的帧中，它需要适当的技术来进行面部检测和识别，以应对不同面部表情，姿势变化，遮挡，老化和分辨率的挑战。作者试图将人脸合成的概念用于提高ORL，YALE，AR和LFW等不同人脸数据库的准确性和识别率。作者对各种类型的面部识别技术和挑战进行了严格的审查，以提高准确性和识别率的比较，从而提高了在大型数据库中识别面部图像的效率和识别率。

1. . Introduction
   人脸识别一直是一个有趣的领域，也是计算机视觉和图像检索中具有挑战性的任务之一。 它适用于各种领域，例如ATM，医疗保健系统，驾驶执照系统，铁路预订系统，监视操作和护照认证。 在大型数据库中，人脸图像识别始终是一项艰巨的任务。 有多种可用于识别人类的生物特征，例如指纹，掌纹，手形，虹膜，面部，语音，步态和签名。
   但是，主要的问题是它们需要人的积极合作以进行认证，而人脸识别不需要人的积极合作。因此，与其他生物识别技术相比，面部识别更加方便。让我们先讨论一下人脸识别的含义吗？一个人可以简单地定义：人脸识别是识别已经检测到的人脸的过程。它可以是已知的或未知的，换句话说，可以定义为从我们已注册的用户数据库中识别出该人是谁？人脸识别有两个重要任务：验证和识别。可以将面部验证定义为一对一匹配，该匹配将面部图像与个性匹配的可用面部图像数据库相关联。人脸识别是一个一对一的问题，将人脸的查询图像与人脸数据库中的可用图像进行匹配。当查询面可能在可用数据库中也可能不在可用数据库中时，也会考虑第三种情况。在这种情况下，可以计算相似度分数，并且可以根据最高相似度分数找出匹配项。 Shwetank Arya等。研究了许多2D和3D人脸识别技术，并提出了红外光谱（IRS）来克服人脸识别方面的挑战。人脸检测和匹配对于人脸特征提取和准确性计算非常重要。在运动图像，双胞胎，姿势变化，具有不同配件（如胡须，眼镜，头发颜色，头发分区，化妆，在不同照明条件下的不同面部表情，光强度，噪声，遮挡）下，面部识别仍然是一项挑战。以及用于面部匹配和错误生成的热图像。 Jyoti kumar等人论据集提供了不同的特征提取技术。Abdolhossein等提出GaborZernike人脸特征描述符和HOG描述符来提取局部静态特征。他们在三个不同的数据库上测试了结果，在ORL数据库上的面部识别率分别为98％，Yale数据库的97.8％和AR数据库的97.1％。

2. Types of face recognition（人脸识别类型）
   可以借助不同的面部特征，指纹，眼睛/虹膜，身体结构，斑点标记等来识别人。 脸部是人体的重要组成部分之一，在识别人类方面起着重要作用。 在监视或闭路电视中识别人脸时，分辨率在人脸识别中起着至关重要的作用。 在人脸识别系统中，第一步是检测图像中的人脸。 脸部主要分解为四个特征，例如眼睛，嘴唇，鼻子和嘴巴以进行识别。 面部检测的主要主题是从静止图片或视频图片的角度识别图像中是否存在单张面孔或更多。 面部主要具有2D和3D尺寸，且具有不同的纹理和面部表情。

2.1. 2D face recognition

Andrea F.Abate等。 提出了一种基于不同参数（例如输入大小，已处理任务的数量和识别率）的用于集体2D视觉图像和3D模型人脸识别的可靠技术。 比较不同的技术为研究者提供了未来的前景，使他们能够进行人脸识别领域的新技术。 本征人脸和立体视觉技术用于通过称为人脸差异的3D信息来改善2D人脸识别系统的性能。 借助基于扫描内衬的神经网络，可以对处于不同位置的人的面部进行匹配。 用于特征提取和识别的主成分分析（PCA）有效地用于人脸识别。 通过增加信息的深度来提高2D-3D人脸识别率，人脸识别过程如图1所示。

2.3. 3D face recognition（3D人脸识别）
面孔以真实的图像，各种纹理，不同的框架的形式在三个维度上回旋。似乎可以更精确地识别人脸图像，并最大程度地减少姿势变化，遮挡和不同照明条件的问题。 Sima Soltanpura等。提出了基于局部特征的3D人脸识别调查。他们将局部描述符分为曲线，关键点和曲面。他们在3D人脸数据库上应用了图像采集技术，以在不同条件下进行比较。特征提取是作者考虑的人脸识别的重要模块之一。他们研究了用于3D人脸识别的不同类型的人脸描述符和特征提取器。他们还考虑了具有不同面部表情和遮挡的面部识别挑战。 3D图像和面部特征提取采用了各种技术和方法来进行有效的识别。探针和图库纹理之间的标准化是借助双向重新照明完成的。引入相关度量以找出相似度得分以及用于面部验证的姿态和光归一化签名概念。使用3D人脸识别技术的动机是为了克服2D人脸识别系统的缺点。 3D人脸图像借助不同的增强技术得以识别，并在各种数据库中进行了测试。经验丰富的传感器摄像头可捕获更好的3D面部图像，从而生成3D面部模型，从而增强了该功能。多种技术可用于从一定范围的视角识别3D面部。 3D人脸识别系统的好处之一是它不受光强度的影响。引入了几种方法来提取特征，以使准确性和识别率更高。葛文等。 提出了通过领域自适应来改善人脸识别。在此作者中，尝试通过将“野生（LFW）”数据集中的“带标签的面孔”作为基准来评估面部识别。他们认为数据偏差是问题之一。他们用相同的分布替换了训练数据，因为根据他们的调查，来自网络的数据集来自名人的日常活动与正常人的面孔大不相同，并且由于隐私问题而难以收集。他们已经应用了FaceNet三重损失功能。在没有人脸对齐的情况下，单个CNN模型的准确率达到99.33％。

3. Challenges of face recognition
   3.1. Aging
   各种纹理形式的脸部会随时间变化特征值并随着年龄的增长而反映出来，这在脸部识别中具有迅速的重要性。长时间访问后，年龄不变性对于视觉观察和图像检索也很重要。对称为FGNET，CACD，CACD-VS的人脸数据集进行了老化和老化的耦合自动编码器网络CAN和非线性分析。计算正确性计算出的一段时间内，不同年龄组的不同年龄组的面部识别系统中的老化因子。不同年龄组和分类的衰老效应描述符需要相似的度量来区分年龄。全球针对不同年龄组进行了各种分析，以计算相似指数和发现。人脸识别取决于特征提取，关注数据提取和基本特征（如皱纹，痕迹，眉毛，化妆等）。为了减少人脸识别过程中的图像尺寸，引入了主动外观模型（AAM）技术。人脸特征识别的性能对于模拟稀疏约束方法非常重要，该方法是针对具有衰老因子的人脸识别方法提出的，以模拟一段时间内的衰老。
   3.2. Thermal image
   小型和大型数据库的多特征提取需要适用于热式人脸识别系统的技术。在低分辨率Gabor系统中，基于照明的热图像检测需要重点关注环境。说明了用于多特征提取的有关Gabor喷射描述符的多融合技术。融合算法用于人脸识别系统的可见热红外图像检测，这需要形成准确性和识别率。用于热图像测量的通用图像索引质量的形成对于面部识别而言是令人满意的。还使用UGC-JU检查了识别率以测量性能。 Gabriel Hermosilla等人指出，在不受约束的环境中进行人脸识别的热谱需要基于二进制模式，Weber线性描述符和Gabor Jet描述符的局部匹配方法。比较并分析了所有面部识别方法的性能演变。红外图像特征提取和识别还需要新的熵函数。用于红外熵分析的特征属性提取需要使用可用数据库上的不同区分特征来检查人脸识别，以进行性能评估。
   3.3. IRIS
   IRIS是面部的重要组成部分，而IRIS的特征提取在面部生物特征分析中起着至关重要的作用。 IRIS识别方法可用，并且主要基于生物哈希技术。 在“ IRIS映射”中，将在六个数据库上检查鲁棒性是否得到改善，然后将结果列表化以用于IRIS识别。 它在公认的系统中具有有效性和鲁棒性，可以实现更好的性能。 人脸识别和虹膜识别都可以用于移动管理系统。 该应用在移动设备上具有响应可靠性，融合技术和样本显示出更好的准确性结果的可行性。 多生物计量系统的准确性对于各种功能非常重要。 在bin基础框架上过滤和综合数据期间，IRIS角落数据丢失会导致信息丢失，并再次通过融合进行检查。 在CASIA-IRIS Framework上检查了实验结果。
   3.4. Occlusion遮挡
   Yu-Feng等人讨论了具有遮挡，稀疏性和鲁棒性的单样本人脸识别。基于学习的PCA用于类内变体字典和优化，以解决多尺度稀疏编码模型。这是一个具有判别力的多尺度模型，被迅速用于遮挡人脸识别。大型数据库的部分遮挡人脸识别系统基于通用遮挡和结构化的稀疏字典方法。提出了一种互不相关正则化和快速的字典学习闭塞算法，与其他方法相比，该算法具有较大的数据库表示量，且运算量较小。 Mustafa M. Alrjebi等人提出了使用二维多色融合（2D-MCF）模型和SRC进行面部遮挡识别的方法。他们使用融合的颜色信息来有效识别人脸遮挡。他们首先为人脸图像设计了一种新的局部表示，然后应用了分区稀疏感知识别（P-SRC）以提高准确性。他们将结果应用于四个不同的数据库，以提高识别率。他们在AR数据库上的识别率提高了24.5％，在Curtin数据库上的识别率提高了3.8％，在FRGC数据库上的识别率提高了25％，在Bosphorus数据库上的识别率提高了2.86％。在2D-MCF的不同训练模型中使用遮挡的人脸识别已被广泛使用，在该方法中，以前的遮挡融合细节要求较少，并且其他方法的准确率也有所提高。二维多色融合技术提高了遮挡人脸识别的准确性。
   3.5. Facial expressions
   Yulan Guoet等人在面部之间的全局相似性的基础上，提出了基于特征和包含局部几何特征的匹配形状的表情不变3D人脸识别。他们在FRGCv2数据集上测试了结果。他们拍摄了一张探测面孔，并使用本地特征和3D云注册与面孔数据库进行了比较。对于具有中性表情或具有非中性表情的不同面孔，他们获得了97.0％的识别率和99.01％的验证率。李烨等。提出了一种使用多个对象特定曲线的表情不敏感的3D人脸识别方法。他们将3D人脸匹配与迭代最近点算法结合使用，并将与表情无关的因素作为权重，以提高人脸匹配算法的性能。稀疏表示分类-SRC和协作表示分类-CRC方法被广泛用于面部表情分析。需要借助3D人脸模型中的NN分类器对六个对象的面部表情和特征提取进行欢乐，悲伤，愤怒，恐惧，恐惧，厌恶和惊奇的提取和分类。线性和更快的面部表情识别将通过改进的局部方向性模式（MLDP）方法实现。基于视频的具有不同特征的图像和面部表情对于面部表情识别也很重要。与其他现有技术相比，在深度信念网络上进行了广义判别分析的面部表情表现更好。多模式模型检测在面部表情识别系统中被广泛地用于标志和纹理值的检测和面部表情实验的分析，以获得更好的性能。 Abdelghafour Abbad等人提出了一种基于几何和局部形状描述符的3D人脸识别技术，以克服不同面部表情的挑战。他们采用了四个不同的步骤来解决该问题：第一步是对3D人脸建模，第二步是特征提取，第三步是根据曲线找到3D曲面上的几何信息，第四步是找到特征向量在每个尺度上。他们在GavabDB和Bosphourus数据集上进行了研究和比较，得出的识别率为98.9％。
   3.6. Poses姿势
   周立方等人提出了利用 lbp 和 huffman 编码的姿态鲁棒人脸识别。 他们将分割和规则技术应用于人脸表征及其分类，以改善姿态变化。 同时，他们将区域选择因子(rsf)应用到人脸图像的人脸表征中，具体考虑不同的姿态，而不是采用一般的基于补丁的 src 融合分类策略来改进该技术。 为了提高准确性，他们研究了 feret 数据库和 lfw 数据库的结果。 Thibault napoleon 等人提出了姿态不变的3d 人脸识别。 他们提出了一种主动形状模型，借助有限元分析来检测关键特征。 他们试图通过应用 lbp 技术来提高识别率，并应用范德卢格特相关器和高斯滤波器来识别图像的边缘，基于图像识别的局部二值模式。 他们在 phpid 数据库上研究了他们的结果，这个数据库包含了每个人的具有方位角的三维重建面孔。 结果表明，该方法识别率为88.76% ，与基于 vlc 数据库的二维方法识别率仅为44.97% 进行了比较。 Brahmin aksasse 等提出了一种新的技术，构成不变的面孔识别。 他们试图提高野生动物的人脸识别率，并提出了一种在 facegen 建模器上下文中借助单个三维人脸模型的人脸对齐技术。 提出了一种新的基于 gabor 滤波器的人脸特征描述方法，该方法在给定的框架下结合 gabor 相位和 gabor 幅度进行人脸特征描述。 它能够克服标记面孔在野生数据集(lfw)的标准表示。 他们试图证明 lfw 数据集的准确率为97.29% 。
   3.7. Facial advances
   如果图像因面部的外科手术变化而有所差异以增加美感，则面部识别将变得更具挑战性。粗到精策略用于识别3D脸部不同姿势下的地标。在基于几何结构的搜索和基于HK曲率分析的改进的基于FLM的搜索的基础上，引入了半脸匹配算法技术。在不同姿势下，HK曲率分析中的稳健性和准确性至关重要。面部换位模式用于发现2D和3D面部检测如何影响整体和独特特征。 3D立体效果在整体提取过程中更准确，但在反面特征提取过程中则不那么准确。值得注意的是，在2D和3D人脸的面部反转中，识别率和性能几乎相同，并且着重于GPU集成如何影响3D人脸识别。外部，内部特征，面部表情和面部动态发现更容易区分为孤立特征而不是嵌入式特征。作者试图找出2D和3D人脸识别的不同挑战。在表1中，将不同的技术和应用程序与不同的人脸数据库进行了比较，以提高准确性和识别率。
   表1.不同面部识别技术，应用程序和准确率的比较
   

4. Conclusions
面部表情是生命体最重要的特征，在识别人类方面起着重要作用。全球使用各种技术进行人脸识别应用和研究。在本文中，作者试图扩展对人脸识别技术及其在不同人脸数据库（例如ORL，YALE，PHPID，VLC，GAVAbDB，AR，UGC-JU，CURTIN，FRGC，Bosphorous）上的性能比较，准确性和识别率的挑战，LFW数据集。人脸识别在安全性，法医领域等应用领域的应用不断增加，并且需要更高的准确性和可靠性。此处还介绍了各种纹理的合成以用于人脸识别，还考虑了各种挑战，例如衰老因子，面部特征，表情，姿势变化，热图像，遮挡和照明。在回顾的基础上，作者发现，迄今为止，使用域自适应技术在LFW数据集上测试的野生动物的面部识别的最大准确率达到99.33％，而使用Fusion算法或RF分类器对被测试的人脸的准确率达到99.07％在UGC-JU人脸数据库上。提出的综述对于即将到来的研究人员选择合适的面部识别技术将很有用。