Generative Dynamic Patch Attack论文分享（侵删）

原文地址：https://arxiv.org/abs/2111.04266

author={Xiang Li and Shihao Ji}
title={Generative Dynamic Patch Attack.}

一、介绍

我们首先提出了一个端到端的补丁攻击算法，生成动态补丁攻击（GDPA），它产生补丁模式和补丁位置的每一个输入图像。我们表明，GDPA是一个通用的攻击框架，可以产生动态/静态和可见/不可见的补丁与一些配置的变化。其次，GDPA可以很容易地集成到对抗训练中，以提高模型对各种对抗攻击的鲁棒性。

GDPA：找到最佳的位置在图像中注入补丁。学习图像相关的补丁模式和补丁位置一起。GDPA的灵感来自于不同图像具有不同的弱像素集的想法，因为DNN分类器在被不同图像查询时通常关注不同的图像区域[33]。因此，依赖于图像的动态补丁攻击将比固定位置或随机位置补丁攻击更有效。我们的GDPA同时生成补丁模式和补丁位置，并采用仿射变换来合成对抗补丁示例。

优点：1.GDPA，可以生成动态/静态和可见/不可见的补丁攻击与一些配置的变化。·

2.GDPA采用生成器来生成每个图像的补丁模式和补丁位置，并且大幅减少推断时间（例如，快40- 50倍）。

3.GDPA是一种端到端的可区分补丁攻击算法，可以很容易地集成到对抗训练中，以抵御高调的补丁攻击。·实验表明，GDPA具有比强补丁攻击基线更高的上级攻击成功率，并且使用GDPA的对抗性训练模型对各种对抗性攻击的鲁棒性比最先进的方法更强。

补充ROA：提出了一种用于对抗训练的矩形遮挡攻击（ROA），它产生了对补丁攻击高度鲁棒的模型。ROA-Exh以步幅对图像进行穷举搜索，ROA-Grad使用CE损失的梯度大小作为区域的敏感度来识别顶部候选区域以加速位置搜索。然而，ROA有一些相当大的局限性。首先，它采用了两阶段的攻击生成，它分离的过程中找到补丁的位置和补丁模式分为两个步骤：它首先找到的位置使用的灰度模式，然后优化补丁模式在该位置。因此，由灰色图案识别的位置可能不是优化图案的最佳贴片位置。第二，罗阿的两阶段优化是计算昂贵的，减慢了补丁生成过程中的推理。与这些算法不同的是，我们的GDPA训练一个生成器来生成每个输入图像的补丁模式和位置。此外，GDPA是端到端可区分的，这需要有效的优化和易于集成的对抗训练。

二、GDPA框架

GDPA生成管道：补丁模式和位置生成器，可微分仿射变换，以及加权对抗补丁注入，以产生图像相关的动态补丁攻击。

GDPA的一个关键组成部分是生成器，它为给定的图像生成补丁模式和补丁位置。由于补丁模式和补丁位置耦合到一个给定的图像，我们设计了一个生成器G与两个头共享相同的潜在特征提取的编码器。具体来说，我们的生成器包括一个编码器GE来提取图像x的特征表示，然后是一个位置解码器GL和一个模式解码器GP来生成对抗补丁的位置和模式：

其中lx和ly是图像x中的斑块的位置（2D坐标），原点位于图像的中心，pattern是大小为w × h的斑块图案。

我们使用加权对抗补丁注入xadv =（1−m）x+m p，其中m ∈ [0，1]w × h，这是原始图像x和补丁模式p的凸组合，其权重由m定义。我们引入与输入图像相同大小的初始掩码mcenter，并且掩码的中心部分具有值1，其余部分具有值0。p =Translate(pcenter, lx, ly).

 可微仿射变换：为了使整个管道相对于w.r.t.lx和ly，使用双线性插值来估计变换后不在像素网格上的像素值。通过这样做，整个流水线是完全可微的，并且梯度可以端到端地反向传播以更新生成器G的参数。具体来说，我们采用空间Transformer Networks的仿射变换和图像采样方法来定义可微平移算子，该算子可以将源图像平移到目标图像（lx，ly）的位移。我们首先使用仿射变换来计算源图像和目标图像之间的像素索引关系：

由于（xs i，ys i）是连续变量，我们可以使用双线性插值来对源图像的像素值进行采样：

生成动态补丁攻击：我们可以通过xadv =（1−m）x+m p为图像x生成GDPA对抗示例。整个GPDA生成流水线是完全可区分的，并且可以使用基于梯度的方法来有效地优化。

三、GDPA对抗训练

展示了GDPA对抗性训练（GDPA-AT）管道，用于训练针对补丁攻击的鲁棒模型。类似于生成对抗网络[11]，GDPA-AT迭代地训练生成器G和目标分类器T，以优化以下极大极小目标：

其中内部最大化步骤优化生成器G以最大化T的分类损失，而外部最小化步骤优化目标分类器T以最小化分类损失。与传统的对抗性训练不同，内部最大化步骤通常直接优化对抗性示例xadv，我们的GDPA-AT优化生成器G以生成具有一个前向传播的补丁攻击。随着迭代训练的进行，生成器G在每次迭代中搜索最弱的图像区域来攻击分类器T，而T从当前的补丁攻击中学习，并且随着时间的推移变得对这些攻击更具弹性。

四、实验

在三个基准数据集上评估了GDPA和GDPA-AT：VGGFace [31]，Traffic Sign [8]和ImageNet [5]。为了评估GDPA的攻击性能，我们将GDPA与LAVAN [17]和ROA[37]进行了比较，这两种最先进的补丁攻击算法基于迭代优化生成补丁。使用攻击成功率（ASR）[6]作为评估攻击有效性的指标，并使用分类准确度来评估模型在对抗性攻击下的鲁棒性。

首先评估GDPA对非目标和目标补丁攻击的性能，并将其与最先进的LAVAN [17]和ROA[37]进行比较。我们使用宽度为3，5，7，10的方形块作为交通标志，23，32，50，71用于VGGFace和ImageNet。

报告了GDPA和其他竞争算法针对非定向和定向补丁攻击的ASR。

显示了GDPA针对VGGFace和ImageNet上的非目标和目标攻击生成的不同补丁大小的扰动图像。在ImageNet上生成的补丁（底行）在非目标攻击下没有表现出很强的语义含义，但在目标攻击下表现出语义含义。

Visibility α vs. ASR

当α增加时，GDPA的攻击强度对于所有不同的补丁大小都变得更强。

动态与随机补丁位置

GDPA使用动态补丁位置比随机位置实现更高的ASR。这表明，学习图像相关的动态位置有助于GDPA的上级性能。

动态补丁对抗训练

验证了GDPA-AT训练的模型对各种对抗补丁攻击的鲁棒性。1）VGGFace上的眼镜攻击，2）交通标志上的贴纸攻击和3）ImageNet上的LAVAN。虽然DOA和GDPA-AT都显著提高了PGD-AT的鲁棒性，但GDPA-AT实现了比DOA的两种变体高得多的准确性。

推理速度

GDPA需要一次前向传播来生成补丁攻击，而我们遵循ROA和PGD的设置，运行50次迭代优化来生成它们的攻击，GDPA比PGD快约40倍，比ROA快约47倍。

五、结论

GDPA，一种新的动态补丁攻击算法，生成补丁模式和补丁位置的每一个输入图像。由于GDPA的通用公式，它可以生成动态/静态和可见/不可见的补丁攻击。GDPA是端到端可区分的，这需要有效的优化和易于集成的对抗训练。我们在具有不同模型架构的多个基准测试上验证了我们的方法。GDPA证明了比强补丁攻击方法更上级的ASR，并且使用GDPA的对抗性训练模型对高调补丁攻击更鲁棒。此外，GDPA比竞争攻击算法快40- 50倍，使其成为高效的攻击和防御算法。