《Adaptive Adversarial Patch Attack on Face Recognition Models》论文分享（侵删）

原文地址：Adaptive Adversarial Patch Attack on Face Recognition Models | IEEE Conference Publication | IEEE Xplore

author={Bei Yan and Jie Zhang and Zheng Yuan and Shiguang Shan},
title={Adaptive Adversarial Patch Attack on Face Recognition Models.},

一、介绍

        提出了一种新的统一的自适应对抗补丁（AAP）攻击框架的人脸识别模型的有针对性的攻击。我们的方法综合考虑各种因素，在补丁生成过程中，包括位置，形状和数量。我们的方法自适应地选择补丁的位置和数量的显着性图和K均值聚类的基础上，同时变形补丁的形状和优化扰动。

二、方法

自适应对抗补丁（AAP）攻击框架概述。当输入源和目标人脸图像时，AAP使用显著图和K-Means聚类来自适应地选择最佳的块位置和数量。基于所选择的面片中心，进行迭代形状变形和扰动优化以生成对抗性示例。

关键点1：补丁位置选择

介绍了一种基于显着图的补丁位置选择策略。给定人脸对{xs，xt}，我们针对目标攻击的损失函数为Ladv = cos（f（xs），f（xt））。我们反向传播Ladv，以获得梯度Ladv，然后对每个通道的结果进行平方和求和，以获得显著性图，显著图中每个像素的值反映了其对识别的重要性，这意味着可识别区域可以被视为最容易受到攻击的区域。我们计算显着图的密度热图来表示每个区域的密度。选择防御区域的中心作为我们的对抗补丁的中心。

关键点2：补丁形状变形

我们使用具有中心点O和一组长度为r = {r1，r2，.，rn}。通过改变射线的长度r，可以使形状变形。曲面片的形状由曲面片的中心点O和射线长度r决定。一旦确定了形状，我们就可以获得补丁的二进制掩码M。对于图像中的每个坐标（i，j），我们通过高斯消元来计算它是否在由两个相邻射线形成的三角形内。（同论文Shape matters: deformable patch attack.）

关键点3：补丁数量选择

我们的目标是基于显著图选择隐藏区域。然而，在显著性图中也存在几个相对密集的区域。我们自发地想到将补丁分割成多个部分，以覆盖尽可能多的这些区域。为了实现这一点，我们提出了补丁数选择策略，进一步提高了攻击性能。我们利用K-Means聚类自适应地选择补丁的数量。给定k值，以显著图作为权值矩阵，K-Means聚类方法可以将图像中的所有像素划分为k个部分。SSE是指簇内误差平方和，用于评估聚类质量。具体来说，我们计算不同k值下的SSE，并绘制SSE与k之间的曲线。曲线斜率急剧变化的地方，即k的最佳值。在确定bestk的基础上，自动选取对应的bestk聚类中心作为对抗补丁的中心，结合自适应形状变形进行攻击.

三、实验

数据集：LFW数据集和IJBC数据集。

对三个关键点的消融研究

使用单个代理模型

使用多代理模型集成

AAP和SOTA方法对对抗示例平均生成时间的比较结果。

四、超参数的影响

ASR首先随着射线的数量而增加，然后波动和减少。在较小的面片面积下，光线数量的增加给形状建模带来了更大的复杂性，这使得优化变得更加困难。

补丁区域的大小对AAP攻击性能的影响。随着斑块面积的增加，AAP的ASRs显著提高。考虑到大尺寸的补丁区域会使敌对补丁过于显眼并且容易被注意到，选择了一个折衷的补丁区域尺寸。

五、结论

在本文中，我们提出了一个新的统一的自适应对抗补丁攻击框架，有针对性的攻击人脸识别模型，AAP。不同于现有的补丁攻击作品，只集中在补丁生成的一个方面，我们综合考虑多个因素，包括补丁的位置，补丁的形状，补丁的数量。我们的方法自适应地选择补丁的位置和数量的基础上显着图和K-Means聚类，然后联合优化每个补丁的形状和扰动。在不同结构的人脸模型上进行了大量的实验。实验结果表明，我们提出的AAP方法优于SOTA方法。