SER-FIQ: Unsupervised Estimation of Face Image Quality Based on Stochastic Embedding Robustness

Face系列文章目录

---

前言

Paper
guthub
提出的无监督人脸质量评估概念的可视化。我们建议使用图像表示的鲁棒性作为质量线索。我们的方法定义了这种鲁棒性基于嵌入变化的随机子网络的一个给定的人脸识别模型。在随机嵌入中产生微小变化的图像(左下)，表现出高鲁棒性(右上的红色区域)，因此，高图像质量。相反，来自随机子网络的随机嵌入(左上角)产生高变化的图像表明鲁棒性较低(右上角的蓝色区域)。因此，被认为是低质量。

Abstract

人脸图像质量是启用高性能人脸识别系统的重要因素。人脸质量评估旨在评估人脸图像是否适合识别。先前的工作提出了需要人工或人工标记质量值的监督解决方案。但是，这两种标记机制都容易出错，因为它们不依赖于清晰的质量定义，并且可能不知道所用面部识别系统的最佳特征。为避免使用不正确的质量标签，我们提出了一种基于任意人脸识别模型的新概念来测量人脸质量。通过确定从面部模型的随机子网络生成的嵌入变化，可以估算样本表示的鲁棒性，从而可以评估其质量。实验是在三个公共数据库的跨数据库评估环境中进行的。我们将我们提出的解决方案在两个人脸嵌入方面与学术界和工业界的六种最新方法进行了比较。结果表明，在大多数调查的场景中，我们的无监督解决方案均优于所有其他方法。与以前的工作相比，提出的解决方案在所有情况下均显示出稳定的性能。将部署的人脸识别模型用于我们的人脸质量评估方法，可以完全避免训练阶段，并且可以大大超越所有基线方法。我们的解决方案可以轻松地集成到当前的面部识别系统中，并且可以修改为除面部识别之外的其他任务。

1. INTRODUCTION

人脸图像是最常用的生物特征识别模式之一，因为它具有较高的公众认可度，而且不需要用户积极参与[39]。在控制条件下，现有的人脸识别系统能够获得非常精确的性能，然而，一些最相关的人脸识别系统工作在不受约束的环境下，因此必须处理大的变化，导致识别准确率显著下降[14]。这些变量包括图像采集条件(如光照、背景、模糊度和低分辨率)，人脸的因素(如姿态、遮挡和表情)[23,22]和部署的人脸识别系统的偏差。由于这些变量会导致识别性能显著下降，因此需要解决处理这些因素的能力

生物特征识别的性能取决于样本的质量。生物特征样本质量被定义为样本对识别目的的效用。人脸质量的自动预测(匹配前)在许多应用中都有很大的应用价值。这使得人脸识别系统的注册人数更加活跃。在反识别系统中，它通过提供低质量的人脸图像来阻止攻击者访问系统。此外，它可以实现基于质量的融合方法时，多个图像(例如，从监控视频)或多个生物识别模式是给定的

目前人脸质量评估的解决方案需要有来自人类感知或来自比较分数的质量标签的训练数据。这种质量衡量标准通常定义不清。人类可能不知道所使用的人脸识别系统的最佳特征。另一方面，基于比较分数的自动标注代表了两个样本的相对表现，因此一个低质量的样本可能会对另一个的质量标签产生负面影响。

在本文中，我们通过研究随机嵌入的鲁棒性，提出了一种新的无监督人脸质量评估概念。我们的解决方案基于图像在嵌入空间中的鲁棒性来度量图像的质量。利用从随机子网络中提取的嵌入变量，确定样本的表示稳健性，从而确定样本的质量。图1说明了工作原理。

我们在一个跨数据库评估设置中，在三个公开的数据库上评估了实验。我们的方法是在两个人脸识别系统和六个最先进的解决方案上进行的比较:三个没有参考的图像质量指标，两个最近的人脸质量评估算法，以及一个来自工业的商业现货(COTS)人脸质量评估产品

结果表明，在大多数研究场景中，提出的解决方案能够优于所有最先进的解决方案。虽然每个基线方法在至少两个场景中都显示出性能不稳定，但我们的解决方案显示出始终稳定的性能。当将部署的人脸识别模型用于所提出的人脸质量评估方法时，我们的方法优于所有基线。相反,前脸质量评估的定义[19]4,23日,22日,国家面临质量效用衡量任意人脸识别人脸图像的模型,我们的结果表明,它非常有利于估计样本质量对一个特定的(部署)人脸识别模型。

2. Related work

通过限制捕捉要求来确保人脸图像质量的几个标准已经被提出，例如ISO/IEC 19794-5[23]和ICAO 9303[22]。在这些标准中，质量分为基于图像的质量(如姿势、表情、光照、遮挡)和基于主题的质量测量(如配件)。上述标准影响了近年来提出的许多面部质量评估方法。第一个面向质量评估的解决方案侧重于分析图像质量因素，而当前的解决方案利用了监督学习方面的进展。

基于分析图像质量因子的方法定义了面部不对称的质量度量[13,10]，提出了垂直边缘密度作为质量度量来捕获姿势变化[42]，或通过与已知参考图像[35]比较的亮度失真来衡量。然而，这些方法必须手动考虑每一个可能的因素，而且由于人类可能不知道人脸识别系统的最佳特征，目前更多的研究集中在基于学习的方法

向基于学习的方法的过渡包括将不同的分析质量度量与传统机器学习方法相结合的工作

人脸质量评估的端到端学习方法于2011年首次提出。Aggarwal等人提出了一种使用多维尺度方法来预测人脸识别性能的方法，该方法将空间表征特征映射到真实分数。在[43]中，设计了一种基于块的概率图像质量方法，该方法工作于二维离散余弦变换特征，并在每个块上训练高斯模型。2015年，Chen等人[5]提出了基于排序的学习方法。他们定义了一个多项式核的线性质量评估函数和基于等级损失的训练权。在[27]中，根据客观图像质量和相对图像质量进行人脸图像评价。客观质量度量指的是在姿态、对齐、模糊度和亮度方面的客观视觉质量，相对质量度量表示训练人脸图像和测试人脸图像之间的不匹配程度。Best-Rowden和Jain[4]在2018年提出了一种自动人脸质量预测方法。他们提出了两种基于(a)人脸图像质量的人类评估方法和(b)来自相似分数的质量值的人脸图像质量评估方法。他们的方法是基于应用于深度学习表示的支持向量机。2019年，Hernandez-Ortega等人提出了Face-Qnet[19]。该解决方案对人脸识别神经网络进行微调，以预测回归任务中的人脸质量。除了用于人脸识别的图像质量估计，质量估计也被用于预测基于所研究图像的软生物识别决策可靠性

以前所有的人脸图像质量评估解决方案都需要带有人工或人工标记的质量值的训练数据。人类标记的数据可能会将人类的偏见转移到质量预测中，而没有考虑到生物识别系统的潜在偏见。此外，人类可能不知道一个特定的人脸识别系统的最佳质量因素。通过研究人脸识别系统的相对性能(用比较表示)，可以创建人工标记的质量值分数)。因此，分数可能会被低质量的样本严重偏差。

本文提出的解决方案是基于我们的假设，表示鲁棒性更适合作为一个质量度量，因为它提供了一个独立于其他样本的单个样本的质量度量，并避免使用误导性的质量标签进行训练。该指标能够从本质上捕捉到与所使用的人脸识别系统相关的人脸图像采集条件和因素。此外，该算法不受人类偏好的影响，同时考虑了人脸嵌入的偏好和决策模式

3. Our approach

人脸质量评估的目的是评估人脸图像用于人脸识别的适宜性。人脸图像的质量应该表明其预期的识别性能。在本研究中，我们基于深度学习嵌入图像的相对鲁棒性来定义人脸图像质量。通过计算来自人脸识别模型随机子网的嵌入变化，我们的解决方案将这些变化的幅度定义为一种鲁棒性度量，从而确定图像质量。图2显示了该方法的一个演示

所提方法的说明:将输入I转发到所使用的人脸识别模型m的不同随机子网络中，每个子网络产生不同的随机嵌入x s。利用成对距离计算这些嵌入之间的变化，并定义了I的质量

3.1. Sample-quality estimation

更正式地说，我们提出的解决方案使用一个人脸识别模型m来预测给定人脸图像I的人脸质量Q(I)。人脸识别模型必须经过dropout训练，目的是提取出身份分离良好的嵌入点。为了对I进行基于稳健度的质量估计，使用不同退出模式的随机正向传递从m模型中生成m = 100个随机嵌入。m的选择是由3.2节中描述的质量度量的时间复杂性和稳定性之间的权衡来定义的。每一个随机正向传递应用不同的退出模式(在预测期间)产生不同的子网络m。每一个这些子网络产生不同的随机面孔嵌入x s。这些随机嵌入集合集合X(I) = {X s} s∈{1,2，…, m}。我们定义图像I的面容质量为所有随机嵌入对(x I, x j)∈x×x之间的负平均欧氏距离d(x I, x j)的sigmoid函数σ(·)保证q∈[0,1]。因为Gal等人[12]证明在网络上重复应用dropout近似于高斯过程[33]的不确定性，欧氏距离对于d(x i, x j)是一个合适的选择。更大的变化随机嵌入集合X表示低表示的鲁棒性,因此,降低样本质量q。降低X的变化表明高鲁棒性在嵌入空间和样本被视为高质量q。质量预测策略算法进行了总结

3.2. Properties

SERI-FIQ的目的是从识别任务中使用的角度来评估人脸图像质量，这可能与评估图像质量的概念不同。尽管有各种变化(这里是辍学造成的)，但产生相对稳定的身份相关嵌入的图像在识别任务中是一个高使用率的图像，因为识别网络训练的目标是抵抗内部身份变化。

人脸识别算法的目标是学习鲁棒表示，以提高身份间可分离性和降低身份内可分离性。假设人脸识别网络经过dropout训练，样本的质量与其嵌入鲁棒性相关，可以从基本模型中创建不同的子网络，使它们具有不同的dropout模式。子网络之间的一致性可以用来评估嵌入的鲁棒性，从而评估嵌入的质量。如果m个子网络产生相似的输出(高度一致)，那么这些随机子网络(随机嵌入集X)的变化很小。因此，这种嵌入的鲁棒性，以及样本的质量，是高的。相反，如果m个子网络产生不相似的表示(低一致性)，则随机子网络的变化很大。因此，嵌入空间中的鲁棒性较低，也可以认为样本的质量较低。

我们的方法只有一个参数m，即随机正传次数。这个参数可以解释为蒙特卡罗模拟中的步数，控制质量预测的稳定性。较高的m导致更稳定的质量评估。由于我们方法的计算时间t = O(m2)随m的二次增长，所以不宜选得太高。然而，我们的方法可以弥补这一问题，易于实时运行，因为它是高度并行的，可以大大减少计算量，重复的随机前向通过网络的最后一层(s)。

与之前的工作相比，我们的解决方案不需要质量标签来进行培训。此外，如果部署的人脸识别系统经过dropout训练，可以使用相同的网络来确定嵌入的鲁棒性，从而确定样本质量。通过这样做，可以完全避免训练阶段，质量预测进一步捕获决策模式和使用的人脸识别模型的偏差。因此，我们强烈建议使用部署的人脸识别模型进行质量评估任务。

4. Experimental setup

Databases 人脸质量评估实验是在三个公开的数据库上进行的，选择有质量变化的数据库，以证明我们的方法在多个数据库的泛化。ColorFeret数据库[32]由来自1199个不同个体的14,126张高分辨率人脸图像组成。在良好控制的条件下，这些数据拥有各种面部姿态和面部表情。Adience数据集[9]包含来自超过2284个不同受试者的26,580张图像，在不受约束的成像条件下。标签野外面孔(LFW)[21]包含5749个身份的13,233张面孔图像。对于这两个数据集，光照、位置、焦点、模糊度、姿态和遮挡都有很大的变化。

Evaluation metrics 为了评估面部质量评估的表现，我们遵循Grother等人[16]使用误差-拒绝曲线的方法。这些曲线显示了未经考虑的人脸图像的验证错误率。根据预测的质量值，这些未被考虑的图像是预测质量最低的图像，对剩下的图像计算错误率。误差与拒绝曲线表明，随着未考虑图像比例的增加，验证误差减小，估计质量良好。在相对于误差与质量阈值曲线而言，这一方法更为有效cess允许公平地比较不同的人脸算法质量评估，因为它是独立的范围质量预测。cruve在批准的版本中进行了改装ISO工作项目[25]，在文献中使用

总结

1.人脸识别网络训练过程必须要有dropout。推理阶段dropout=1获取人脸特征用于识别。

2.质量分支获取dropout前一层的输出，接上dropout=dropout rate（0.5）, 通过dropout实现网络的不同变体，利用不同变体提取特征的稳定性，来评价图像的质量。

比如dropout=0.5，m=10：

1、随机把嵌入前一层一半的激活清0，剩下的一半乘以2，再提取嵌入（即特征）。

2、把1做10次，得到10个嵌入。

3、计算2中两两的距离，平均值越小，质量越好。

这里的质量好坏仅指是否有利于后续的人脸识别。

FMR指误报率，FNMR指漏报率。