【论文阅读】CVPR2023 || Improving the Transferability of Adversarial Samples by Path-Augmented Method

论文链接：http://arxiv.org/abs/2303.15735v1

Abstract

深度神经网络在多种视觉任务上取得了前所未有的成功。然而，它们很容易受到人类无法察觉的敌对噪音的影响。这种现象会对它们在实际场景中的部署产生负面影响，尤其是与安全相关的场景。为了在实践中评估目标模型的鲁棒性，基于迁移的攻击利用局部模型制作对抗样本，并因其高效率而越来越受到研究人员的关注。最先进的基于迁移的攻击通常是基于数据增强的，它通常在学习对抗样本时从线性路径增强多个训练图像。然而，这些方法启发式地选择了图像增强路径，并且可能会增强与目标图像语义不一致的图像，这损害了生成的对抗样本的可迁移性。为了克服这一缺陷，我们提出了路径增强方法(PAM)。具体来说，PAM首先构造一个候选增强路径池。然后用贪婪搜索确定对抗样本生成过程中所使用的增强路径。此外，为了避免增强语义不一致的图像，我们训练了一个语义预测器(SP)来约束增强路径的长度。大量的实验证实，在攻击成功率方面，与最先进的基线相比，PAM可以实现平均超过4.8%的改进。

1. Introduction/Related Work

基于迁移的攻击通常通过使用白盒策略(如FGSM)来攻击源模型来制作对抗样本，这通常会导致由于对源模型过拟合而限制可迁移性。提高对抗可迁移性的方法可分为两类。一种是基于优化的方法，它采用更高级的优化方法来避免在生成对抗样本时出现较差的局部最优，例如，动量迭代快速梯度符号法(MI-FGSM)将动量项集成到BIM中，以提高其对抗性可迁移性。另一种是基于增强的方法，它采用数据增强并利用多个训练图像来学习更具可迁移性的对抗样本。

基于增强的方法可以大体分为两类，第一类是对线性路径上的图像进行增广。例如，尺度不变攻击方法(SIM)[20]增强目标图像的多个尺度副本，而Admix[35]增强目标图像与其他类别图像混合的多个尺度副本。SIM沿着从目标图像到基线图像(即原点)的线性路径指数增加图像。相比之下，Admix首先用目标图像和来自其他类别的图像的混合来增强目标图像，然后沿着从混合图像到原点的线性路径对图像进行指数增强。另一类依靠仿射变换来增强图像。例如，多元输入法(DIM)[44]应用随机调整大小和填充，而平移不变法(TIM)采用移位。由于仿射变换的重点是改变图像的像素位置，因此增强图像的多样性不如线性路径的图像，从而导致较差的可迁移性。不幸的是，最先进的基于增强的攻击，如SIM和Admix，这些方法只考虑到一个基线图像的图像增强路径，即原点。此外，尽管它们试图增强与目标图像语义一致的图像，但它们未能约束图像增强路径的长度，这可能导致增强的图像语义不一致。

为了克服现有的基于增强攻击的缺陷，我们提出了一种基于传输的攻击，称为路径增强方法(PAM)。PAM提出了从多个图像增强路径中增强图像，以提高学习到的对抗样本的可转移性。然而，由于图像的连续空间，从目标图像出发的可能图像增强路径是无数的。为了解决效率问题，我们首先选择具有代表性的路径方向，构建候选增强路径池。然后用贪婪搜索法确定对抗样本生成过程中所使用的增强路径。此外，为了避免增强语义不一致的图像，我们训练了一个语义预测器，它是一个轻量级的神经网络，来约束每个增强路径的长度。

PAM和SIM之间的区别如图1所示。在生成对抗样本的过程中，PAM沿着从目标图像到不同基线图像的多条图像增强路径对图像进行增强，而SIM仅沿着从目标图像到原点的单一图像增强路径对图像进行增强。此外，PAM对图像增强路径的长度进行了约束，避免了对距离目标图像较远的图像进行增强，并保留了目标图像的语义。相反，由于图像增强路径过长，SIM可能会增强与目标图像语义不一致的图像

Method

在本节中，我们首先描述最先进的基于增强的攻击(SIM和Admix)。然后分析了这些方法的局限性。我们最后提出了本文的路径增强方法(PAM)来克服这种攻击的缺陷。

2.1. Augmentation-based Attacks

初始输入图像为x，对应的真实标签为y。f(x)表示DNN分类器的输出。J(x, y)表示分类器的分类损失函数，通常为交叉熵损失。给定目标图像x，对抗性攻击的目标是找到一个对抗样本xadv，它可以误导分类器，即f(xadv) ≠ f(x)。

Scale Invariant Method (SIM) 图像和缩放后的图像（像素值乘以一个系数），在同一个模型上的loss很接近。将这种特性视为一种模型增强的话，可以得到目标函数Si(x)=x/2i。首先计算分类损失相对于目标图像的m个缩放副本的平均梯度¯g。然后在每次迭代中用sign（¯g）以一个小步长ε’ = ε / T去更新目标图像，其中T是迭代数。更新规则制定如下:

Admix首先将目标图像替换为目标图像与其他类别图像(x’∈X’)的m2混合图像。然后通过使用m1比例的混合图像副本来实现SIM。因此，Admix计算更新梯度如下:

式中η为混合图像中x’的强度。

2.2. Analysis

预处理后，图像的像素值将被归一化。我们将像素值均为0的图像表示为归一化空间中的原点0。我们注意到原点是一个纯彩色图像，因为当我们将归一化空间中的原点转换回原始颜色空间时，它的所有像素都具有恒定的RGB值。

我们发现，当生成对抗样本时，SIM和Admix实际上是从线性路径增强图像。具体来说，SIM增强了目标图像的多个缩放副本:，这是目标图像与原点的线性组合。因此，SIM沿着从目标图像到原点的线性路径指数增加图像。Admix首先将目标图像替换为目标图像与其他类别(x’∈X’)图像的混合图像:xadvt + η·x’。然后利用SIM增强混合图像的多个缩放副本:，这也是混合目标图像与原点的线性组合。因此，Admix沿着混合目标图像到原点的线性路径对图像进行指数增强。

通过以上分析，我们认为SIM和Admix存在两个缺陷。第一个是有限增强路径。SIM和Admix只考虑到一个基线图像的增强路径，即原点。然而，还有其他可能的增强路径可以增加增强图像的多样性。因此，增强图像的有限多样性会导致产生的对抗样本的有限可迁移性。此外，SIM和Admix的增强路径可能会过长。它们可以增强离目标图像太远的图像。因此，增强后的图像靠近原点，而原点不包含目标图像的信息。增强这样的图像会分散对抗性样本对目标图像的学习，从而损害对抗性可迁移性。

2.3. Path-Augmented Method

2.3.1 Augmentation Path Exploration

为了使增强图像多样化，我们提出探索更多的增强路径。我们首先通过选择有代表性的增强路径来构造候选增强路径池。然后，我们在制作对抗样本时以贪婪的方式使用增强路径候选。

首先是候选增强路径池的构造。为了减少大量的搜索空间并与SIM对齐，我们只考虑纯彩色图像作为增强路径的基线图像。此外，我们选择不同的基线图像，以保证路径上增强图像的多样性。近增强图像具有相似的增强梯度，对可迁移性具有相似的影响。因此，我们将整个图像空间划分为多个区域，并从每个区域中选择一条基线作为代表性增强路径，形成候选增强路径池。一般来说，我们认为RGB通道的图像空间归一化为[- 1,1]。我们将每个通道划分为三个点(- 1,0,1)，以极大地分散路径，因此我们有3^3 = 27个具有代表性的图像空间增强路径。因此，我们构建增强路径池的方法在提高可迁移性方面是有效的。

然后，我们讨论了如何利用构建的增强路径池来生成对抗样本。直观地说，我们结合更多的增强路径来计算梯度，可以获得更高的可迁移性，但计算复杂度会增加。因此，我们应该平衡可移植性和计算复杂度。因此，我们选择的增强路径n的数量是一个需要调优的超参数。在确定了用于计算梯度的增强路径数之后，我们还需要从候选增强路径池中找出我们选择的增强路径。我们首先通过部署以下对抗攻击并测量开发数据集上的平均可迁移性来对候选路径池中的增强路径进行排名。为简单起见，我们将路径池中的基线图像表示为x’。因此，从目标图像x到基线图像x’的路径上的第i个缩放增强图像表示为

 我们采用贪婪的方式，选择top-n增强路径，直接将这些增强路径中增强图像的梯度组合在一起，生成对抗样本。

2.3.2 Semantics Preservation

为了保证增强路径上的增强图像与目标图像的语义一致，我们可以对增强路径的长度进行约束，并对语义一致部分的图像进行增强，以避免路径过长。我们可以利用分类器对图像沿增强路径的预测来识别语义一致的长度。如果增强图像语义一致，则增强图像应具有与目标图像相同的预测。因此，语义一致长度实际上是沿着增强路径寻找目标图像类的决策边界。因此，我们训练一个语义预测器(SP)来约束每个增强路径的长度。SP以图像作为输入，预测每个增强路径上的语义比。每个增强路径上的语义比用比例因子r∈[0,1]表示。因此，我们可以利用语义比来约束增强路径的长度。我们在语义一致长度上增加梯度以获得有意义的梯度。因此，从目标图像x到基线图像x’的增强路径上的第i个缩放图像，其语义缩放因子为r，表示为。 

语义预测器(SP)是一个轻量级的神经网络，由五层组成:两个卷积层，两个平均池化层和一个完全连接层。将图像送入一个核尺寸为5 × 5的卷积层和一个步长为4的平均池化层，可以大大降低维数。然后将特征映射发送到另一个具有相同设置的卷积层和平均池化层。之后，特征图被输入到一个具有Sigmoid激活的Fully Connected层，输出大小设置为增强路径的数量。轻量化神经网络的输出就是每个增强路径的语义标度因子。训练目标是最小化真实标签的置信度得分与其他类的最高置信度得分之间的差异，如下所示。我们使用Adam优化器对语义预测器进行了15个epoch的训练，并将学习率设置为1 × 10^−4

2.3.3 Attacking Equation and Comparison

PAM的攻击方程如下所示，其中x’j为增强路径池中第j条增强路径的基线图像，rj为来自semantic Predictor的第j条增强路径的语义比。n是增强路径的数目，m是拷贝的数目。

最后，本文认为目前最先进的方法SIM[20]和Admix[35]是PAM的特殊情况，因为SIM和Admix都将原点作为基线，并沿线性路径增加梯度。SIM使用目标图像作为起始点，而Admixs选择目标图像与其他类别图像的混合作为起始点。

PAM首先部署Semantic Predictor来预测从增强路径池中选择的每个增强路径的语义比率，以约束长度。然后，PAM将所有受限增强路径上的增强图像组合在一起，生成对抗样本。

3. Experiments