2020ICPR-化妆演示攻击

面部化妆品会在很大程度上改变面部，影响面部识别。化妆应用可以被滥用来发起所谓的化妆呈现攻击（makeup presentation attacks）。在这类攻击中，攻击者可能会浓妆艳抹，以达到模仿目标对象的面部外观的目的。

 

在这项工作中，我们使用公开可用的Makeup Induced Face Spoofing(MIFS)数据库评估了COTS人脸识别系统对伪装演示攻击的脆弱性。研究表明，化妆呈现攻击可能严重影响人脸识别系统的安全性。此外，我们提出了一种攻击检测方案，该方案通过分析潜在的化妆呈现攻击和对应的目标人脸图像在深层人脸表示上的差异，将化妆呈现攻击与真正的认证尝试区分开来。所提出的检测系统采用基于机器学习的分类器，该分类器利用生成性对抗性网络进行面部化妆转移和图像扭曲来训练人工生成的化妆呈现攻击。使用MIFS数据库进行的实验评估显示，对于将真实身份验证尝试与伪装呈现攻击分开的任务，检测的等同错误率为0.7%。

1引言

呈现攻击又称为欺骗攻击，是针对生物特征识别系统的最重要的攻击载体之一。攻击者可以使用大量的呈现攻击工具（PAIs），例如人脸打印输出或面具。

目前现有的呈现攻击检测方法（PAD，presentation attack detection）分为基于软件和基于硬件的方法，基于硬件的PAD使用额外的传感器，例如深度或近红外捕获设备。即使是具有高攻击潜力(如硅胶面具)的PAI，也可以通过皮肤的光谱特征分析可靠地检测出来，这将其与大多数人工制品区分开来[4]。

最近，Chenet al.[5]显示化妆也可以用来启动PAS。化妆可能会极大地改变人们感知到的面部纹理和形状，这可能会对自动人脸识别构成挑战[6]、[7]。当被熟练的用户或专业化妆师使用时，化妆可能会被滥用，目的是隐藏身份或冒充他人[5]。在后一种情况下，化妆的方式是攻击者的脸看起来与目标对象的脸相似，见图1。

不同的化妆师已经展示了仅通过化妆就可以将一张脸转化为目标对象的脸的可能性。这类化妆PAS(M-PA)具有严重的风险，因为这些不能通过简单地检测化妆来预防。更确切地说，面部化妆品在世界许多地区和文化社区都是被社会接受的。对于许多女性来说，它们已经成为一种日常必需品，以一种简单而划算的方式改善面部美容[6]。面部化妆品行业巨大且稳步增长的市场价值证明了这一点，例如，2017年欧洲的市值为776亿欧元[8]，2016年美国的市值为630亿美元[9]。这意味着，仅仅使用化妆不能被解释为PA。重要的是要注意，对于其他脸牌物种来说情况并非如此，到目前为止，科学文献中已经考虑到了这些物种，例如脸部图像打印输出或三维(硅胶)面具。化妆可能都是以一种无害的方式使用(真正的受试者，他们以生物识别系统政策规定的方式与捕获设备交互)。然而，它也可能是以恶意方式应用的(意图冒充已注册目标的对象)。这显然使得对M-PAS的可靠检测具有挑战性。到目前为止，只有很少的研究致力于M-PAD的主题，例如在ODIN研究计划[10]中。

在这项工作中，我们使用标准化的ISO/IEC方法和度量[11]来评估商用现成(COTS)人脸识别系统对M-PAS的脆弱性。此外，介绍了一种基于图像对(即差分)的M-PAD系统，该系统将潜在的M-PA和目标参考图像作为输入。在这种差分检测场景中，使用最先进的人脸识别系统从两个人脸图像估计深度人脸表示。检测分数由基于机器学习的分类器获得，该分类器分析深层人脸表征中的差异。利用M-PA(和真实认证尝试)的合成数据库训练所述分类器，所述M-PA(和真诚认证尝试)是使用用于面部化妆传输和图像扭曲的生成性对抗网络(GAN)生成的。在实验中，公开可用的MIFS数据集1与其他公开可用的人脸数据库一起使用。

2相关工作

首先介绍了化妆可以导致非永久性的改变，能够显著改变脸部外观。主要作用于脸部的三个区域，即眼睛、嘴唇和皮肤。突出例子包括改变眼睛的感知对比度、嘴巴的大小以及肤色。化妆可以归类为w.r.t.浓妆度，包括淡妆（妆容不易察觉，因为所用的颜色与自然的皮肤、嘴唇和眼睛的颜色相对应）和浓妆（妆容明显可察觉）。

Dantchevaet al.。[6]我们首先系统地研究了面部化妆对人脸识别系统的影响。在参考图像或探针图像因化妆而改变的情况下，观察到性能下降。在[12]、[13]中也进行了类似的研究，证实了这些发现。此外，上田和小山[14]证明浓妆的使用会显著降低人类辨认面孔的能力。

为了实现抗化妆的人脸识别，研究人员引入了不同的人脸特征提取和比较技术。一些建议的方法融合了从多种类型的特征中获得的信息，例如[15]-[17]。此外，已经提出了不同的检测化妆的方法，例如[18]-[21]。

这类化妆检测方案通常分析面部颜色、形状和纹理。特别地，通过应用合适的纹理描述符，例如LBP和HOG，以及基于机器学习的分类器，有效地提取了肤色和平滑度等皮肤特征。如果在捕获的面部图像中检测到面部化妆的应用，则面部识别系统可以相应地作出反应，例如通过应用具有不同参数的特征提取。

Chenet al.[5]首先研究了以模仿为目的的MPA的潜力。为此，作者介绍了MIFS数据库，该数据库是从YouTube化妆视频教程中收集的，其中包含了受试者化妆前和化妆后的面部图像，以及目标受害者。图2显示了该数据库的示例图像。报告的结果表明，不同的自动人脸识别系统容易受到M-PAS攻击，而攻击的成功几率受到攻击者和目标对象外观的影响。与此相似的是，Chuet al.[22]显示了在数字领域模拟化妆可以用来发起对抗性攻击。最近，科特瓦莱等人。[23]提出了一种基于深度学习的M-PAD系统，该系统通过模拟老化的影响来检测针对身份隐藏的M-PAD。有趣的是，这一方案也被报道在其他数据库上获得竞争性的检测性能，在这些数据库中，化妆用于面部美容目的。这可能表明[23]的M-Pad系统可以检测不同种类的化妆品。然而，正如前面提到的，大多数受试者化妆的目的不是为了隐藏身份或冒充，而是为了美化整体面部印象。在初步研究中，Rathgebet al[24]提出了科学文献中最早的M-PAD系统之一，目的是检测模拟M-PAS。

在过去的几年里，围绕着通用的人脸PAD，已经提出了许多基于软件的方法[3]。作为人脸PAD比赛的一部分进行的一项综合基准[25]显示，只有一些已发表的方法对不同的PAI和环境条件有一般性的反对意见。相反，基于硬件的方法有望更可靠地检测特定类型的PAI，但显然需要额外的传感器[2]。

3化妆演示攻击检测

化妆演示攻击检测不能简单的通过检测是否化妆判断是否存在攻击，以为化妆也可以由真正的受试者使用，即他们不存在隐藏身份或冒充他人的目的。

因此，设计了一种差分M-PAD系统，该系统除了提供探头图像外，还处理存储的参考图像。随后在使用基于机器学习的分类器的训练阶段学习从参考图像和可疑探测图像提取的指示M-PA的面部特征之间的差异。类似的差分攻击检测系统已经被成功地提出用于面部变形[26]和面部修饰[27]。以下小节描述采用的深度面部表示的提取和基于机器学习的分类(第III-A节)以及合成M-PA训练数据的生成(第III-B节)。

A.特征提取和分类

在给定可信参考图像（trusted reference image）和可疑探测图像（suspected probe image）组成对的情况下 ，使用最先进的人脸识别算法，在这两个图像中人脸被检测、归一化和提取深度特征表示。深度人脸识别系统利用非常大的人脸图像数据库来学习丰富而紧凑的人脸表示。预计由M-PAs引起的改变也将反映在提取的深部面部表示中，即最底层的神经网络的输出。由于深度人脸识别系统对皮肤外观的变化有很高的泛化能力，如果化妆改变了感知的面部形状，这种变化可能会更加明显。

原则上，可以从头开始训练神经网络，或者应用转移学习并重新训练预先训练好的深度人脸识别网络来检测M-PAS。但由于神经网络中权值较多，模型复杂度较高，需要大量的训练数据。即使只对较低层进行重新训练，所用数据库中有限数量的训练图像(以及数量少得多的对象)也很容易导致对训练集的特征过度拟合。

在分类时，通过估计从参考人脸图像和探针人脸图像中提取的一对深部人脸表示的差异向量来组合它们。具体地说，执行特征向量的元素减法。预期差异向量的某些元素的差异表示M-PAS。在训练阶段，提取差异向量，并训练具有径向基函数(RBF)核的支持向量机(SVM)来区分真实的认证尝试和M-PAS。或者，可以分析从参考面部图像和探测面部图像中提取的深部面部表示的串联。然而，所得到的特征向量可能表现出妨碍有效分类器训练的长度。

值得注意的是，与建议的差分M-PAD方法相比，基于单个图像的M-PAD系统不能可靠地检测M-PAS[24]。相反，一个单一的基于图像的M-PAD系统，只分析探针面部图像，很可能会检测到仅仅是化妆，而不是显示M-PAS本身，如第二节所解释的。

B.训练数据生成

自动生成合成M-PAs数据库

（1）面部形状的改变：脸部的形状可以通过大量化妆来改变，例如缩小轮廓和鼻子或放大眼睛，参见图1。为了模拟所述改变，目的是模拟目标对象图像变形[28]。具体地说，提取目标参考图像和探测图像的面部标志。随后，图像扭曲被应用于探针面图像w.r.t。在目标参考图像中检测到的地标。然后，所得到的探针面部图像将展示目标参考图像的面部形状。这种转变的动机是，熟练的攻击者，例如化妆师，可以通过化妆改变自己脸型的外观。

（2）脸部纹理的变化：化妆可以极大地改变面部的感知纹理。为了模拟化妆引起的纹理变化，目的是模仿目标对象，采用了基于GAN的面部化妆转移(参见第IV-A节)。Gans已经实现了完整化妆风格的自动转换，例如[29]、[30]。这种转移的动机是用户试图复制其他人(如名人)的化妆风格的需求。

前述处理步骤被应用于随机选择的目标参考图像对，该目标参考图像对包含未化妆的不同被摄体的化妆和探针图像。对于这两种类型的图像，正面姿势、相对中性的面部表情(例如闭嘴)和样本图像质量都会自动得到保证。图5描绘了表示合成M-PA的结果变换探针图像的示例。合成的M-PA与代表真实认证尝试的同一对象的未经更改的脸部图像对结合使用。

拟议的合成一代M-PA可以通过几种方式进行改造。一方面，图像扭曲过程可以随机强度应用，以模拟不同技能水平的攻击者。另一方面，可以使用多种脸部化妆转移算法来提高鲁棒性，避免过度拟合可能导致的特定于算法的伪影。然而，在这项工作中使用的实验设置中，这些适应并没有显示出在检测性能方面的任何改进。

4实验设置

A.软件和数据库

本文将dlib算法[31]应用于人脸检测和人脸标志点提取。检测到的眼睛坐标用于面部对齐。使用公知的FaceNet算法[33]和开源ArcFace系统[34]的重新实现[32]来提取深层面部表示。对于这两个特征提取器，得到的特征向量由512个浮点数组成。此外，在脆弱性分析中使用了COTS人脸识别系统。COTS人脸识别系统的使用提高了脆弱性分析的实用性。虽然COTS系统是封闭源代码的，但人们认为它是基于深度学习的，因为绝大多数最先进的人脸识别系统都是基于深度学习的。因此，它只用于脆弱性分析，而开源算法则用于所提出的M-PAD方法。

在合成M-PA的生成过程中，使用带有标签的OpenCV和Liet al的BeautyGan算法的重新实现来应用图像扭曲[35]。[30]用于面部化妆转移。Cikit-learnlibrary[36]用于训练使用标准参数的支持向量机。经过训练的支持向量机在[0，1]范围内生成归一化攻击检测分数。

表一概述了所使用的人脸图像数据库及其用途。MIFS人脸数据库用于进行脆弱性评估(参见第V-A节)。这个数据库是在[5]中引入的，由117名受试者的642张图像组成。对于每个对象，有三类图像可用，即原始面部图像、M-PA和目标对象的面部图像，请参见图2。脆弱性评估是通过在M-PA和目标图像之间执行比较来完成的，从而导致总共428次M-PA尝试。重要的是要注意，MIFS人脸数据库的真实图像对几乎没有类内变化，这在现实世界的场景中是不太可能的。因此，如在[5]中所做的那样，使用额外的公开可用的面部图像数据库来获得具有真实生物统计差异的进一步的真诚认证尝试。对于脆弱性分析，从FRGCv2脸部数据库的子集获得附加的真实分数分布[37]。此外，从这个数据库中获得冒名顶替者得分分布，该数据库包含533个受试者的2710张图像，导致3298个真的和144,032个冒名顶替者的比较。

在所提出的M-PAD系统的训练阶段，CelebA脸部数据库[38]的子集被用作目标参考。为了获得这个子集，CelebA脸部数据库已经被过滤，只包含大量化妆、正面姿势和闭着嘴的脸部图像。使用FaceQNet算法[39]进行了人脸样本质量保证，得到了不同对象的总共641张人脸图像。图6描绘了CelebA脸部数据库的结果子集的示例图像。CelebA脸部数据库的图像与FRGCv2数据库的脸部图像随机配对，以生成3290个合成M-PA，该合成M-PA与FRGCv2数据库的真实认证尝试一起用于训练所提出的M-PAD方案。

为了评估MPAD系统的检测性能，使用了所有的M-PAS和MIFS数据库的真实比较。请注意，MIFS数据库的真正比较包括对一张或两张脸都化妆的图像对。另外使用FERET面部数据库[40]的子集来获得来自不同对象的529次真诚认证尝试。FERET人脸数据库的使用是因为FRGCv2数据库已经用于M-PAD系统的训练阶段。

B.评估指标

根据假不匹配率(FNMR)和假匹配率(FMR)[41]来评估生物测定性能。M-PAD系统的性能根据国际标准化组织/国际电工委员会30107-3：2017年[11]及其当前修订版中定义的指标进行报告。

对于漏洞评估，冒名顶替者攻击呈现匹配率(IAPMR)[11]定义了使用与目标引用匹配的相同PAI种类的攻击呈现的比例。

相对冒充攻击呈现接受率(RIAPAR)建立了IAPMR和1-FNMR之间的关系，例如，被攻击系统的生物特征识别性能，RIAPAR=1+(IAPMR-(1-FNMR))

攻击呈现分类错误率(APCER)被定义为在特定场景中使用相同PAI种类错误分类为真实呈现的攻击呈现的比例。

善意演示分类错误率(BPCER)被定义为在特定场景中被错误分类为PAS的诚意演示的比例。

此外，如[11]中所建议的，BPCER10和BPCER20分别代表确保系统安全级别为APCER为10%和5%的操作点。此外，还报告了检测等错误率(D-EER)。

5实验

A.漏洞分析

即脆弱性评估，表二和表三分别列出了分数分布和脆弱性评估的统计数据。可以观察到，对于实际相关的FMR，由原始M-PA获得的IAPMR和RIAPAR，即成功机率是中等高的，即，对于1%的FMR，高达17%。这突显了人脸识别系统对高质量M-PA的脆弱性。

B.基准系统

对提出的基于深度人脸表示的M-PAD系统与不同的算法进行了比较：

三维重建(3D-R)：Rathgebet等人的M-PAD方法。[24]从参考和探测图像中提取面部深度图像的近似值。所有列边界标记处的深度值之间的距离是使用MSE计算的。平均成对MSE作为最终M-PAD分数返回。该方案的基本原理是，在M-PAS的情况下，探针图像的近似深度图像可能与相应参考图像的深度图像的近似深度图像显著不同。

面部标记(FL)：前述标记检测器[31]用于从每个参考和探测面部图像中提取总共68个二维面部标记。提取的地标描述脸部的颌线、眉毛、鼻子、眼睛和嘴唇。面部标志性位置根据眼睛坐标进行归一化。对于基于人脸地标的特征向量，在特征组合过程中分别减去Xandy坐标，得到长度为2×68的差向量。聚焦于M-PAD的任务，如果M-PA引起的解剖改变与目标对象的不完全相似，则探针图像的面部标志点的位置可能与参考图像的位置不同。已经提出了用于面部图像操纵检测的类似方案[27]。

纹理描述符(TD)：在特征提取时，对齐和裁剪的参考和探针图像被转换为灰度，并被分成4×4个单元以保留局部信息。从预处理的面部图像的每个单元中提取局部二值模式(LBP)[43]。采用半径为1的LBP特征向量来提取LBP特征向量，其中在3×3像素块内处理8个相邻像素值。有关提取LBP特征向量的详细信息，读者请参阅[43]。将获得的特征值聚集在相应的直方图中。最终的特征向量被形成为从每个单元提取的直方图的串联。LBP已被发现是一种强大的纹理分类特征。如果参考图像的纹理与探针图像的纹理不同，则预期从参考图像和探针图像提取的基于LBP的特征向量明显不同。在[44]中已经提出了用于面部图像操纵检测的类似方案。

仅探头深部表示(P-DFR)：最后，仅使用弧面算法从探头图像中提取深部面部表示[34]。然后，提取的特征向量被直接用于区分M-PAS和真实认证。仅探针M-PAD方案的使用应该揭示是否也可以从单探针图像中检测M-PAS。为此，使用深度面部表示，因为它们表示面部图像的丰富纹理和解剖属性。

 C.检测性能

表IV列出了基准M-PAD系统的性能比率。FL实现了最佳的检测性能，与大约16.5%的中等D-EER相关。与FL方案相比，3D-R方法显示出略高的错误率，导致D-EER约为22%。通常，TD和P-DFR方法的检测性能较差。W.r.t.。根据TD，可以得出结论，基于纹理的分析不适合区分真正的认证和M-PAS。P-DFR实现了接近猜测的D-EER。这突显出，对于M-PAD来说，仅仅分析可疑的探针图像可能是不够的。

表V总结了采用不同深部表示的M-PAD系统获得的检测精度。相应的M-PAD分数分布如图7所示。相应的DET曲线如图8所示。可以观察到，所提出的M-PAD系统的性能明显优于所有考虑的基线方案。当使用FaceNet算法进行深度人脸表示提取时，D-EER为3.271%，而使用ArcFace在区分真实身份验证尝试和M-PAS的任务中，D-EER为0.701%，而使用ArcFace算法进行深度人脸表示提取时，D-EER为3.271%，而对于区分真实身份验证尝试和M-PAS的任务，D-EER为0.701%。

6结论和展望

我们评估了COTS人脸识别系统对M-PAS的脆弱性。研究发现，高质量的M-PAS，即模仿人脸纹理和模拟目标对象形状的M-PAS，会对人脸识别系统的安全造成严重威胁。相比之下，基于简单化妆风格转移的M-PAS成功率相当低。

此外，我们还提出了一种差分M-PAD系统，该系统分析了从一对参考人脸图像和探针人脸图像中提取的深部人脸表示的差异。检测分数是从基于支持向量机的分类器获得的，这些分类器经过训练以区分来自真实认证尝试和合成生成的M-PA的训练集的差异向量。在使用MIFS人脸数据库进行的性能测试中，使用FaceNet和ArcFace算法提取深层人脸表示，所提出的M-PAD系统分别获得了约3.3%和0.7%的激励D-EER。也就是说，所提出的M-PAD方案可以有效地防止M-PAS，从而提高人脸识别系统的安全性。

虽然所提出的M-PAD系统使用的是一个基于机器学习的分类器，该分类器是用几千个合成图像进行训练的，但是一个基于端到端深度学习的M-PAD系统还有待于进一步的工作。这样的系统需要大量的训练数据。当然，目前出现的合成M-PA将允许创建更大的训练数据库。然而，真正的面部图像(特别是高质量的参考图像)的数量受到所使用的数据库的限制。为了避免过度拟合，需要包含高质量图像的大规模人脸数据库来训练基于端到端深度学习的M-PAD系统。