人脸图像质量分析：Face Image Quality Assessment: A Literature Survey

Face Image Quality Assessment: A Literature Survey论文翻译

摘要

人脸分析与识别系统的性能取决于采集到的人脸数据的质量，而这些数据的质量受到许多因素的影响。自动评估的质量的人脸数据的生物特征效用，从而可以过滤低质量的数据。本调查在人脸生物识别的框架下对人脸质量评估文献进行了概述，重点关注基于可见光波长的人脸图像识别，而不是基于深度或红外质量评估。基于深度学习的方法的趋势被观察到，包括显著的概念差异，在最近的方法。除了图像选择之外，人脸图像质量评估还可以用于其他各种应用场景，本文将对此进行讨论。文中指出了悬而未决的问题和挑战，i.a.强调了算法评估的可比性的重要性，以及未来工作的挑战，即创建除了提供准确的效用预测外还可解释的深度学习方法。

索引术语-生物特征，生物特征样本质量，人脸质量评估，人脸识别。

一、INTRODUCTION

人脸质量评估(FQA)是指将人脸数据作为输入，以某种形式的“质量”估计作为输出的过程，如图1所示。FQA算法(FQAA[57])是一种自动化的FQA方法。FQA可以包括一般图像质量评估(IQA)，但它通常是专门针对面部的(例如利用眼睛的位置)，因此不太可能适用于一般的IQA。

本次调查的重点是将可见光谱中的人脸图像作为人脸处理管道的输入，这是人脸识别(FR)系统最常见的输入，而非可见光谱以外的人脸图像[58][59]。此外，我们只考虑了单图像输入FQA方法，这意味着使用其他与受试者相关的输入的方法，如参考[60]图像[61]，不在调查范围之内。因此，除非另有说明，FQA(A)将参考可见光谱中的单图像人脸图像质量评估算法，输出的质量分数(QS[57])可以用单个标量值表示。质量值矢量测量不同方面，如锐度或照明也可以产生。请参见图2中的一些示例图像，因为不同的原因，FQAA可能会认为这些图像的质量较低。

图1所示。典型的FQA过程:对人脸图像进行预处理，应用FQAA，得到标量质量分数输出，然后在此基础上进行决策。

“质量”一词可以有多种定义，ISO/IEC 29794-1[63]区分了三个方面，即特性、保真度和实用性。在人脸生物识别的背景下，这些特征可以描述如下:

特征: 在生物特征获取过程中无法控制的与生物特征(如面部地形或皮肤纹理)相关的属性(如疤痕)
保真度: 对于生物特征样本[60]，如人脸图像，保真度反映了其与其源生物特征的相似性程度[63]。因此，脸部模糊图像忽略了细节，保真度较低
效用: 由特征和保真度[60]直接影响样本完成或实现生物特征函数的适应度。因此，术语实用程序用于向接收算法表明图像的值

这项调查认为“效用”是质量分数应该传达的主要定义，这与i.a. ISO/IEC 2382-37[60]的质量分数定义和正在进行的人脸图像质量评估的人脸识别供应商测试(FRVT)中的定义一致[62]。因此，质量分数(QS)应该是面部识别(FR)表现的指标。请注意，这意味着特定FQAA的输出对于特定FR系统可能更准确，因此FQA效用预测的有效性最终取决于两者的结合。为了促进互操作性，对于一系列相关系统来说，FQAA通常预测识别性能是可取的，而不是依赖于单一FR技术

简而言之，根据这个调查的定义，FQAA通常意味着输出标量质量分数，以预测单一人脸输入图像的FR性能。无需运行FR算法就可以预测FR性能，这使得FQA在各种场景中都很有用，这些场景将在第II-A小节中进一步描述。值得注意的是，本研究之所以将FQA作为FR性能的预测因素，是因为到目前为止，这方面吸引了研究人员的主要兴趣。等FQA方法的预测效用面对生物识别等任务情感分析[65],注意力水平评估[66],性别或其他柔软的生物识别技术识别[67],等将来会开放的有趣的研究,可以利用当前发展使用FQA FR性能预测。

图2所示。单一主体不同品质的面部图像。介绍了面部表情、姿态、光照等质量退化因素，并对影响面部质量的因素进行了分析。面部图像取自

这项调查回顾了2004年到2020年50多份FQAA的出版物。这些描述了不同数量的前期工作本身，Hernandez-Ortega等人的是一个最近的例子，包含了从2006年到2020年之前一些出版物的摘要。Bharadwaj等人进行的指纹/虹膜/面部质量评估调查，考虑了2005年至2011年FQAA的不到10篇论文。欧洲JRC-34751 报告列出了一些这里没有考虑的fqa，包括通用IQA和图像集FQAA (即多个图像作为FQAA的输入)。
本调查的其余部分组织如下:第二节描述了FR环境和FQA可能有益的各种场景，以及评估FQA方法本身的预测性能的方法。第三节和第四节对FQAA文献进行了调查，重点介绍了相关的开放问题以及未来工作面临的挑战。第五节提供了总结，以结束调查。调查不需要按顺序阅读，可以参考按时间顺序排序的文献表来快速浏览。缩写在第一次出现时定义。

二、人脸识别的质量评价

在报名过程中，经典的人脸识别系统首先从一个人身上获取参考人脸图像，然后进行检测和预处理，最后提取一组特征作为参考模板存储。在进行身份验证时，以相同的方式捕获和处理探头面部图像，并与声明身份的参考模板(验证)或所有存储的参考模板(识别)进行比较.

对于人脸图像的获取，我们可以区分两种人脸图像的获取场景:
受控: 在受控场景中，生物特征捕捉主体采用合作[60]，例如调整头部姿态(见图3)，使其正面面对相机，表情中性，并可控制光照等环境条件。这通常发生在为政府指定的ID文档获取人脸图像时。
**不受约束:**这里捕获主体不合作，即捕获主体[60]无关，[60]故意不合作，对环境条件没有控制。监控视频FR就是一个例子。

在这两个极端之间还有其他的情况，例如。智能手机FR具有合作捕获主体但对环境的不完全控制[69]，文献中通常将接近最优的捕获条件称为“受控”，其他条件均属于“无约束”一类[69]。FQA可以在受控采购期间使用，通过提供及时的反馈来确保一定的质量水平。对于无约束的采集，例如通过摄像机，FQA可以用于滤除低于一定质量水平的图像。虽然两种情况都可以使用相同的FQAA类型和配置，但对于受控的政府ID图像采集场景，更严格的要求可能对无约束场景过于严格。为了促进有帮助的反馈，FQA对于受控场景最好也能够提供一个解释，以多种独立的人类可以理解的因素，如姿态角(见图3)或照明方向。相比之下，对于定义上完全无约束的场景，FQA不能从采集过程中的可解释性中获益，因为没有控制，例如自动决定是否进一步处理视频帧。然而，可解释的FQA对于分析收集到的图像仍然是有用的。

图3所示。面部姿态通常由ISO/IEC 39794-5[71]定义的俯仰、偏航和滚角来定义。正面为三个角度都是0◦。

此外，对于质量评估，可以区分需要输入“参考”版本的方法和不需要的方法(不要与FR数据库中的生物特征参考混淆)。

全引用: 将输入图像与已知的参考图像进行比较的FQA，即已知具有更高或同等质量的参考图像。相反，输入图像可以看作参考图像的潜在降级(例如模糊)版本。
半参考部分参考: 与全参考FQA相似，输入图像必须先存在参考版本，但只知道参考版本的不完全信息，用于FQA。
无参考：FQA不需要输入图像的参考版本。请注意，FQAA仍然可以
使用其他类型的图像或其他数据作为参考:一个FQAA可以使用一些固定的图像集
与输入图像无关，仍然归类为无参考FQA。同样，机器学习FQA模型也不会因为包含了来自训练图像的信息而被自动归类为减少参考FQA。

图4展示了这三个概念。如第一节所述，本调查的重点是单像FQA，所以这里只列出无参考的FQA文献。此外，单幅图像FQA输入意味着不需要进一步的特定于相应的人(或生物特征捕获受试者[60])的数据来促进FQA。

FQA的应用领域
FQA可以应用于多种应用领域。除了进一步可能的应用领域外，在科学文献中已经部分研究过的最相关的领域是:
采集过程阈值：在采集过程[60]中，质量分数低于设定阈值的人脸图像可以被拒绝。除了评估直接来自相机的图像数据外，FQA还可用于测量打印和扫描的影响
采集过程反馈：一个或多个FQAAs不仅可以用于图像抑制，还可以提供反馈，以协助FR系统操作员。
视频帧选择：视频序列中的图像可以根据其分配的质量分数进行排序和选择。这可以用来提高计算性能和识别性能，通过视频监控进行识别。
条件增强:可选的图像增强可应用于一定质量范围内的图像:质量足够高的图像可能不需要增强，质量非常低的图像可能无法通过增强抢救，在质量范围内的图像可能足够进行增强。此外，根据每个应用程序之后的质量变化，可以应用多个增强通道，并且可以为不同的质量方面选择不同的增强配置。虽然图像增强可以无条件地应用到每一张图像上，但这可能会在技术上降低或篡改原本高质量的图像，并涉及到大量的计算开销，这可能会使额外的硬件(例如gpu)成为必要。Rizo-Rodriguez等人[11]指出了前一缺点，例如用于照明FQA。Hernandez-Ortega et al.[42]的FQA应用程序列表指出并举例说明了后一种缺点，列出了从秒到分钟的多种方法，而使用GPU的单幅图像要求为30ms。此外，可以根据质量选择多个图像作为一个整体基础来构建改进的图像——例如，Nasrollahi和Moeslund在视频聚焦方法[37]的增强方法阶段就这样做了。最后，也可以根据区域特定的质量分数来单独增强图像区域，例如Sellahewa和Jassim[14]的一种方法。
压缩控制:当以有损方式压缩图像时，可以测量质量的变化。与条件增强类似，这种度量可以进一步用于控制压缩，例如通过迭代地调整总体压缩因子。除了在本调查中列出的FQAA文献之外，在这个用例中也可以使用完全参考/减少参考的FQA/IQA，因为可以通过压缩输入图像的形式获得参考。
数据库维护:数据库中现有的图像可以根据质量进行排序和过滤。这意味着可以为每个受试者选择质量最高的图像，如果受试者没有足够质量的图像，FR系统操作员可以自动通知受试者。在不存储图像以保护隐私或存储空间的系统中，当然需要预先应用任何基于图像的FQAA来获得QS。此外，可以通过将相关的QS与新图像/模板的QS进行比较，以一种可控的方式更新数据库中的图像或模板这可以在验证成功后自动完成。Hernandez-Ortega等人[42]指出，这些更新也可能包括增量改进，而不是替换。除了特定学科的增量改进，新的质量控制数据也可以通过在线学习来改进生物识别模型

To be continue…