MorDIFF: Recognition Vulnerability and Attack Detectability of Face Morphing Attacks Created by Diff

MorDIFF: Recognition Vulnerability and Attack Detectability of Face Morphing Attacks Created by Diff
基于扩散自编码器的人脸变形攻击的识别漏洞和攻击可检测性

abstract

研究创建面部变形攻击的新方法对于预见新的攻击并帮助减轻攻击至关重要。创建变形攻击通常是在图像级或表示级执行的。
到目前为止，基于生成对抗网络(GAN)的表示级变形已经完成，其中编码图像在潜在空间中插值，以产生基于插值向量的变形图像。这一过程受到GAN结构重构保真度有限的限制。扩散自编码器模型的最新进展已经克服了GAN的限制，导致高重建保真度。从理论上讲，这使它们成为执行表征级面部变形的完美候选者。这项工作研究了使用扩散自动编码器来创建面部变形攻击，将它们与广泛的图像级和表示级变形进行比较。我们对四个最先进的人脸识别模型的脆弱性分析表明，这些模型非常容易受到创建的攻击(MorDIFF)的攻击，特别是与现有的表征级变体相比。对MorDIFF进行了详细的可检测性分析，表明它们与在图像或表示级别上创建的其他变形攻击一样具有挑战性。数据和变形脚本是公开的。

一、introduction

人脸识别系统虽然具有较高的准确率，但容易受到多种攻击，其中之一就是人脸变形攻击。面部变形攻击的目的是创建可验证的面部图像，以作为多个身份的面孔，这可能导致在边境检查等操作中建立错误的身份链接。费拉拉等人证明了这一点，他们证明了一个攻击图像可以成功地匹配不止一个人，自动和人类专家。当这种变形攻击与旅行或身份证件相关联时，它可以允许多个主体根据文件的字母数字信息验证其身份。这种可能与身份信息的虚假联系可能会使一些与金融交易、人口贩运、非法移民等有关的非法行动成为可能。
人脸变形可以在图像级上进行，通常通过在变形后的图像中插值面部地标并混合纹理信息[16]，[32]。通过插值人脸图像表示并将该插值表示解码为人脸变形攻击，还可以在表示级上执行变形。到目前为止，这种表示级别的变形是使用GAN架构进行的，潜在(表示)大小取决于GAN训练样本的数量，导致重建保真度较低。通常，尽管容易产生混合工件，但与基于gan的表示级变形相比，图像级变形导致的攻击更强烈地保留了变形图像的身份。随着扩散自编码器[20]，[30]，[37]的最新进展，旨在避免GAN架构的陷阱，以显着提高重建保真度。这使得扩散自编码器成为执行具有特殊身份保存和逼真图像外观的表示级变形的完美候选人。
这项工作调查了最先进的FR模型对扩散自编码器在表示级上创建的变形攻击的脆弱性。为了实现这一点，我们创建了我们的基于扩散的变形攻击，MorDIFF，通过插值语义和随机潜在表示的两个人脸图像被变形。这个插值潜伏随后解码成变形攻击图像。我们研究了一组FR模型对MorDIFF攻击的脆弱性，与其他变形技术相比，证明了它们攻击FR系统的高能力。我们还通过一组基于不同主干和训练数据的变形攻击检测(MAD)解决方案研究了MorDIFF攻击的可检测性，指出了检测MorDIFF攻击和其他攻击的挑战性。

二、相关工作

人脸变形要么在图像级执行，要么在表示级执行。首先，通过检测待变形源图像中的面部特征点，在图像级创建人脸变形攻击。面部标志被内插，纹理被混合，产生通常被称为基于标志的变形(LMA)。这一过程的变化在文献中被使用，如Ferrera等人的工作[16]和Ramachandra等人的工作[32]。对这些方法的早期比较[34]表明，[6]，[32]中使用的方法实现了相对较强的人脸变形攻击，即变形身份的高身份保留。这一过程的进一步变化在部分面部部位[31]上单独执行插值，产生更难以被MAD检测到的攻击。列出的图像级变形以及本工作实验中使用的其他变形都有不同程度的图像伪影，这是由于在图像级[41]上执行身份插值而引入的。
考虑到GAN结构的进步及其在合成图像方面的性能，为了避免图像级插值的缺点，在2010年提出了基于MorGAN GAN的变形方法。第一个表征级人脸变形攻击是MorGAN，该解决方案将待变形的图像编码到GAN潜在空间中，并对这些潜在表征进行插值。然后由GAN发生器对插值后的潜在向量进行解码，生成变形后的人脸图像。这些早期表征水平的变体适度地保留了身份，分辨率较低，但如果不用于训练MAD[8]，[13]，则难以检测。在MorGAN生成器的后续工作中增加了生成后级联增强步骤，以提高图像感知质量，但具有相同的身份保持级别[7]。Venkatesh等人基于MorGAN[11]引入的概念，创建了具有更好的身份保持质量和更逼真外观的变形图像[40]。这主要是由Karras等人对StyleGAN架构的使用所推动的。随后，同样是在StyleGAN架构[26]的基础上，引入了MIPGAN I和MIPGAN II来生成具有更高身份保持[41]的图像。这是通过一个训练损失函数来实现的，该函数在潜在级别上优化了恒等插值。一个混合的变形方法家族确实使用了GAN架构，但作为在图像级执行变形后的后处理步骤。ReGenMorphs[10]引入了这一概念，以利用图像级变形的身份保留特性，同时在GAN架构中编码和解码变形图像，以产生具有变形身份信息的新面孔(没有混合伪影)。
现有的图像级变形技术产生了期望的强攻击的身份保持特性，然而，它与可见的混合伪影有关。现有的表示级变形技术都是基于gan的。这种方法比基于图像的变体保留所需的标识的程度要低得多，并且当对潜在空间[11]、[40]、[41]执行操作时，与类似合成的生成工件相关联。这是由于GAN架构的重建保真度相对较低造成的，它本身依赖于训练数据[30]的大小。这就是扩散模型的目标，通过实现更高的保真度，从而作为一个完美的候选者，促进更现实和更保留身份的表示级变形攻击，正如本工作所研究的那样。在提交这项工作的几天前，最近发布了一份未经同行评审的预印本，其中对这样一个概念进行了调查，然而，使用极其过时和性能优异的FR解决方案来衡量漏洞，使得所呈现的结果实际上无关紧要。无论何种变形技术，都应该考虑所有可能的变形攻击，并且应该预见到新的攻击，以便在实际攻击者使用这些攻击之前帮助建立防御机制，特别是对于高度现实和强大的攻击。

三、基于扩散的面部变形

本节描述用于创建MorDIFF变形的变形技术。该方法基于Preechakul等人的工作，并在下面介绍必要的背景信息。
先前的变形生成过程使用GAN架构[7]，[11]，[40]，并产生了良好的变形攻击。尽管GAN可以在潜在空间中学习有意义的表示，但由于潜在大小取决于训练样本的数量，重构保真度受到限制。与GAN相比，扩散概率模型(DPM)[20]，[37]在图像生成中实现了更高的视觉保真度。然而，与基于gan的模型相比，DPM的潜在代码缺乏语义，这使得DPM的多样化表示学习变得更加困难。为了解决这些问题，提出了扩散自编码器[30]，从输入中分别推断语义信息和随机信息。因此，我们使用扩散自编码器[30]在两个输入的人脸图像x 1i和x 2i之间生成高保真度和平滑的人脸变形。
扩散自动编码器包含两个编码器。一个是语义编码器，将x1i和x2i映射到语义潜在表示z1s和z2s。另一个是随机编码器，从输入中获得潜在码x 1t和x 2t。因此，两个子码从x 1i和x 2i编码到(z 1s);x1 t)和(z2s;x2t)。然后，使用线性插值Lerp和球面线性插值SLerp([36]和[38]中推荐的)获得具有代表性的潜码z(λ)， λ 2 [0];1]从获得的子码。插补可表示为:

因此，潜码z(λ)可表示为z(λ) = (Lerp(z 1s;z2s;λ);SLerp(x 1t;x2t;λ))。最后，使用条件DPM作为解码器来产生变形攻击，在我们的示例中表示为MorDIFF。使用的扩散自编码器训练细节在[30]中提供，我们使用了公开的预训练自编码器2。
在整个变形过程中，语义编码器能够对人脸特征进行操作，保留部分身份信息，随机编码器提供详细信息，生成高保真度的变形攻击样本，如图1所示。

图1:MorDIFF(最右列)攻击的样本，基线攻击(由FaceMorpher, OpenCV, WebMorph, mipani和II创建)，以及为创建攻击而变形的真实图像(最左两列)。图像级变形(FaceMorpher, OpenCV, WebMorph)显示传统的混合工件，而表示级变形(MIPGAN-I和II)显示典型的条纹GAN工件。这些样本中的MorDIFF攻击显示出更低水平的生成伪影，正如在比较基于扩散的生成与基于gan的生成[30]时所预期的那样。
在整个变形过程中，语义编码器能够对人脸特征进行操作，保留部分身份信息，随机编码器提供详细信息，生成高保真度的变形攻击样本，如图1所示