Defending Against Adversarial FingerprintAttacks Based on Deep Image Prior论文分享（侵删）

原文地址：Defending Against Adversarial Fingerprint Attacks Based on Deep Image Prior | IEEE Journals & Magazine | IEEE Xplore

author={Hwajung Yoo and Pyo Min Hong and Taeyong Kim and Jung Won Yoon and Youn Kyu Lee}
title={Defending Against Adversarial Fingerprint Attacks Based on Deep Image Prior}

一、介绍

在本文中，我们提出了一种新的防御机制，基于深度图像先验（DIP），以防止对抗性指纹攻击。我们所提出的方法通过适应DIP机制来消除输入指纹图像中的对抗性扰动，从而防止对指纹PAD系统的对抗性指纹攻击。DIP是一种用于去噪，超分辨率和修复的图像重建机制，它只需要卷积图像生成器的结构，而无需在大型数据集上进行广泛的训练[29]。在预定义的迭代过程中，DIP通过重复计算其先验信息并更新损失值来重建给定图像以使其与原始图像相似。我们提出的方法涉及消除敌对扰动从一个给定的指纹图像，利用DIP重建其原始形式。之后，分类器评估重建的指纹图像以确定其活性。

我们的方法有四个主要贡献：

（1）提出了一种新的对抗性指纹攻击的保护方法;

（2）对各种类型的对抗性指纹攻击提供了显着的防御性能;

（3）对各种类型的传感器，形状和材料提供了鲁棒的防御性能;

（4）在实际指纹数据集上验证了该方法的有效性。

我们的方法的整体流程包括预处理模块、重建模块和分类器模块。在训练阶段，训练分类器以确定输入指纹图像是否是伪造的（即，活的或假的）。训练数据集由预处理模块处理的特定大小的作物组成，标记为活的或假的。在推断阶段，在对输入指纹图像进行预处理和重建之后，训练的分类器确定指纹图像是否是活的。具体地，通过预处理模块对输入指纹图像进行裁剪，预处理模块通过识别图像中的指纹区域并裁剪该区域的中心点来最小化边缘。基于DIP机制的指纹图像重建模块在重建指纹图像的同时消除指纹图像中的不利扰动，最后将重建后的指纹图像送入分类器模块进行活性判定。

PAD：随着使用精心制作的假指纹的欺骗攻击变得普遍，已经提出了各种基于深度学习的指纹呈现攻击检测（PAD）方法来有效地对抗它们。已经证明，在检测准确性方面，基于深度学习的PAD方法显着优于传统方法。

二、核心部分：

预处理模块：预处理模块负责提取输入指纹图像的关键部分。如图所示，取决于所使用的指纹传感器的类型，输入图像可以包含“非指纹片段”（即边缘），可以作为对抗性扰动的目标。因此，为了最小化可能已经嵌入在边缘中的对抗性扰动的风险，预处理模块从指纹图像中裁剪关键片段。当裁剪图像时，重要的是有效地消除不必要的片段（即边缘）同时保留密钥信息（例如，脊、谷和细节）。为了实现这一点，我们提出的方法结合了中心点分析技术[36]。首先，通过对象检测机制在输入指纹图像内识别“指纹片段”的边界框。然后，从包围盒的区域信息（包括宽度、高度和中心坐标）导出中心点。最后，测量包围盒的外接圆，然后使用圆的半径R裁剪循环四边形。假定边界框的大小可以在指纹图像之间变化，则裁剪大小可以被确定为数据集中的最小、最大或平均大小。由中心点分析引起的裁剪可以最小化输入指纹中的边缘，同时最大化其关键信息。因此，预处理模块通过消除可能嵌入在边缘中的对抗性扰动来降低对抗性攻击的风险，并且通过保留关键信息来最小化指纹识别性能的降级。

重建模块：重建模块负责使用DIP从输入指纹图像中消除对抗性扰动。DIP是一种无需事先训练网络即可重建输入图像的技术。如图所示，通过计算图像的先验信息进行预定的迭代，更新损失值并仅使用单个图像进行训练，而不需要现有基于训练的方法通常依赖的大量数据。在此过程中，重建模块重建接近原始指纹图像的输入指纹图像，同时消除对抗性扰动。DIP在重建模块中的详细操作如下。

1.Xt表示要重建的目标指纹图像，z表示随机生成的噪声。x0表示通过以图像的形式计算z而获得的初始图像。以下等式给出了第n个生成图像的表达式xn：其中f是一个参数为θ的神经网络，θ是映射到图像x的权重，n是迭代的阶数。

2.对于i次迭代，θ被重复更新以最小化xn和xt之间的损失梯度，如下所示：

3.在执行i次迭代之后，最终获得重构图像x′ t。

由于扰动和图像之间收敛到模型的速率不同，扰动通常比图像收敛得慢，因此在扰动完全拟合之前停止参数更新可以导致图像更接近原始而没有扰动。因此，通过在特定迭代处停止重建模块的操作，可以消除对抗性扰动，同时获得与原始指纹图像几乎相同的重建指纹图像。

迭代次数可以根据目标指纹图像的固有特性而变化，并且该值仅需要在开始时确定一次。图显示了来自本研究中采用的数据集的重建指纹图像的示例。基于结果，我们将迭代800确定为最小迭代次数，因为指纹特征（例如脊、谷和孔）从这一点变得清晰可辨，同时在目标数据集上产生最一般化的性能。

分类器模块：该模块通过将指纹图像馈送到神经网络来计算活性分数，然后通过将其与预定义阈值（例如，0.5）。

我们采用ResNet-50架构的分类器模块。如图所示，我们的分类器模块总共由50层组成。第一层是Conv 2D层，内核大小为7 × 7，第二层是Max Pooling层，内核大小为3 × 3。在初始层之后，分类器模块由四种不同类型的Conv 2d组（黄色、红色、紫色和橙子）组成，每个组由三个Conv 2d层组成。第一组使用三次，第二组使用四次，第三组使用六次，第四组使用三次。蓝线表示跳过连接，用于绕过加法运算符的输入。在这些组之后，它通过全局平均池层和Softmax来最终分类输入指纹图像是活的还是假的。

三、实验

数据集：使用LivDet 2015数据集[37]评估了我们的方法，该数据集包括使用不同类型的传感器捕获的真实世界指纹图像。

使用以下准确度公式作为评估防御性能的指标：准确度=（真实有效接受次数+真实假拒绝次数）/图像总数。

训练了两个模型一个使用全尺寸原始指纹图像，另一个使用中心裁剪的原始指纹图像。我们总共训练了六个分类模型。我们使用相同的条件训练每个模型，除了输入图像是否被中心裁剪（优化器=Adam，批量大小=8，epochs=20，阈值=0.5）。

实验结果：

评价1：评估对各种对抗性指纹攻击的防御性能。我们检查了我们的方法是否对使用三种不同的对抗性攻击方法（即，FGSM、PGD和Deepfool）。具体来说，我们利用我们训练的分类器（即，分类器-F和分类器-C）来测量全尺寸原始指纹图像、中心裁剪的原始指纹图像和对抗性指纹图像的PAD准确度。然后，我们将这些结果与我们的方法应用于对抗性指纹图像时获得的PAD精度进行了比较。

根据实验结果，某些情况下，我们的方法表现出相对有限的性能改进，甚至性能下降，正如在对Digital Persona数据集的Deepfool攻击期间所观察到的那样。这些结果的根本原因可以归因于数字人物数据集中的图像与其他数据集相比具有相对较低的边缘比例。因此，通过预处理模块尽量减少对抗性干扰的尝试在某些情况下没有有效发挥作用。此外，当对Digital Persona数据集应用Deepfool攻击时，观察到在许多情况下，指纹形状完全扭曲。由于重建模块被训练为有效地消除对抗性扰动，因此它可能无法正确地重建严重失真的指纹图像。鉴于对抗性攻击的固有特性，即在保留指纹形状的同时合并不可感知的扰动，通过采用专门针对失真指纹图像的预过滤技术来最大限度地降低这些性能下降是可行的。

评价2：比较了该方法与现有的图像重建方法对对抗性指纹攻击的防御性能。我们将我们的方法对对抗性指纹攻击的防御性能与其他图像重建方法进行了比较。

我们的方法将准确率显著提高了16.86个百分点。B2U的性能下降可以归因于作者提供的模型主要是在更广泛的数据类型上进行训练，而不是专门针对对抗性指纹图像。我们的方法可以显着提高指纹PAD对抗攻击的性能。

评价3：评估包括我们提出的方法的模块的有效性。我们进行了一项消融研究，以评估包括我们提出的方法的模块的有效性（即，预处理模块和重构模块）来防御使用三种不同对抗性攻击方法生成的对抗性指纹图像（即，FGSM、PGD和Deepfool）。我们将这些结果与仅将中心裁剪应用于没有DIP的对抗性指纹图像（=预处理模块）时获得的PAD精度进行了比较，当仅将DIP应用于没有中心裁剪的相同图像（=重建模块）时，以及当我们的方法完全应用于相同图像时。

总体而言，与单个模块实现的准确性提高相比，我们的方法将它们结合起来，将准确性提高了12.19个百分点。总的来说，与仅应用DIP而不使用中心裁剪、仅应用中心裁剪而不使用DIP以及我们的方法相比，现有图像重建方法所实现的精度提高是微小的甚至是负面的。具体来说，除了特定的Deepfool攻击案例外，在所有情况下，NLM和BM3D都降低了准确性。这些结果证实，尽管单个模块通过最小化对抗性扰动来有效地防御对抗性攻击，但当组合使用时，它们的有效性会进一步增强。

四、结论

本文提出了一种新的基于深度图像先验（DIP）的防御方法，可以有效地减少对抗性攻击对基于深度学习的指纹认证系统的威胁。我们提出的方法消除了可能嵌入在输入指纹图像中的对抗性扰动，并通过在指纹PAD过程中应用中心点分析和DIP将其重建为接近其原始形式。我们提出的方法不仅有效地消除了对抗性扰动，而且比现有方法更精细地重建指纹图像，而不需要考虑各种传感器，形状和材料的大量训练数据。为了评估所提出的方法的有效性，我们成功地实现了其原型，并使用从各种传感器获得的真实世界指纹数据集进行多角度评估。实验结果表明，该方法对各种对抗性指纹攻击具有较好的防御性能，且优于其他图像重建方法，具有上级性能。总的来说，我们提出的方法提供了增强的防御对抗性指纹攻击，同时确保指纹认证系统的强大PAD性能。

未来的工作包括在扩展数据集上进行进一步的实验，同时考虑更多类型的对抗性指纹示例。特别是，我们计划评估我们的方法的有效性，特别是针对补丁嵌入[11]或物理材料[10]形式的对抗性指纹示例，这可以作为改进我们方法的合适基准。此外，我们计划开发一个集成的生物识别框架，通过将我们的方法扩展到各种类型的生物识别模板，包括人脸和虹膜识别，来抵御对抗性攻击。