【图像攻击转移性】FACL-Attack: Frequency-Aware Contrastive Learning for Transferable Adversarial Attacks

原文标题： FACL-Attack: Frequency-Aware Contrastive Learning for Transferable Adversarial Attacks
原文代码： 暂无
发布年度： 2024
发布期刊： AAAI

---

摘要

Deep neural networks are known to be vulnerable to security risks due to the inherent transferable nature of adversarial examples. Despite the success of recent generative model-based attacks demonstrating strong transferability, it still remains a challenge to design an efficient attack strategy in a real-world strict black-box setting, where both the target domain and model architectures are unknown. In this paper, we seek to explore a feature contrastive approach in the frequency domain to generate adversarial examples that are robust in both crossdomain and cross-model settings. With that goal in mind, we propose two modules that are only employed during the training phase: a Frequency-Aware Domain Randomization (FADR) module to randomize domain-variant low- and highrange frequency components and a Frequency-Augmented Contrastive Learning (FACL) module to effectively separate domain-invariant mid-frequency features of clean and perturbed image. We demonstrate strong transferability of our generated adversarial perturbations through extensive crossdomain and cross-model experiments, while keeping the inference time complexity.

---

背景

当前的大多数攻击方法主要可以分为两大类：基于迭代或优化的方法，以及基于生成模型的方法。过去几年，迭代攻击方法因其简单性和有效性而成为标准攻击协议。然而，这种迭代方法经常受到时间复杂度低下以及过度拟合训练数据和模型的潜在风险的限制。此外，由于对未知模型和领域的可迁移性较低，它在实际情况中的适用性有限。

有鉴于此，生成式攻击最近引起了人们的关注，证明了跨未知模型和模型的高可转移性。域。此外，基于生成器的攻击在推理阶段比基于迭代或基于优化的方法产生更低的时间复杂度，这也是现实世界攻击的关键部分。而当前的生成攻击方法链对于各种黑色攻击来说是高效且有效的-box 设置，我们注意到他们的方法没有主动利用与域相关的特征来促进更多可转移的攻击。

从这个意义上说，我们的工作受到域适应（DA）和泛化（DG）中频域操作，展示了经过训练的模型卓越的泛化能力。当我们针对未知目标域和受害者模型进行可转移攻击以提高类似设置中的可转移性时，我们寻求通过简单而有效的频率操作来利用与域相关的特征。

最近的几项研究重点关注基于频率的对抗性攻击来操纵对抗性示例，旨在更深入地理解其数据集依赖性（Maiya et al. 2021）、对抗性鲁棒性（Duan et al. 2021）和安全漏洞（Dziugaite、Ghahramani） ，和罗伊 2016）。动机略有不同，SSAH（Luo et al. 2022）旨在提高感知质量，而（Guo, Frank, and Weinberger 2019）设计低频扰动以提高黑盒查询的效率。尽管低频扰动是有效的，但众所周知，它们在模型之间提供的传递效率较低（Sharma、Ding 和 Brubaker 2019）。

创新点

严格黑盒任务，其中攻击者完全不知道受害者属性，因为这种情况在实际的现实环境中很常见。

因此，本文更深入地研究频率驱动的方法，这些方法可以有效增强对抗性示例的可转移性，特别是在生成框架中精心设计的。为此，我们提出了一种新颖的生成攻击方法，FACL-Attack，以促进从频域角度跨不同域和模型的可转移攻击。在我们的训练中，我们引入了频率感知域随机化和特征对比学习，明确利用图像属性（例如颜色、形状和纹理）的频带特定特征，设计两个模块来增强对抗性可转移性：FADR 和 FACL，其中 FADR 随机化域变量数据分量，而 FACL 对比频域中的域不变特征对。

模型

目标：生成可转移的对抗性示例解决泛化的挑战。本文的目标是训练生成模型 Gθ(·) 来制作对抗性扰动 δ，这些扰动可以很好地转移到任意域和受害者模型，旨在触发图像分类器 f (·) 的错误预测。

• 概述：

FACL 攻击概述。我们的方法旨在训练一个鲁棒的扰动生成器，该生成器在给定来自黑盒域的任意图像的情况下产生有效的对抗性示例，以诱导未知受害者模型输出错误分类。它由频域中的两个关键模块化操作组成，每个操作仅在训练阶段应用于输入图像数据和从代理模型中提取的特征，如图 2 所示。受到域泛化中频域增强功能的启发，我们的第一个模块，频域感知随机化（FADR），使用 DCT 将像素域图像转换为频域分量。它将域变化的低频段和高频段分量随机化，并在输入图像中保留域不变的中频分量。然后训练扰动生成器来制作有界对抗图像 x 's，即，将扰动 δ 添加到干净图像 x s 并受到扰动投影仪 P (·) 的约束。然后，我们将随机的 x s 和 x ’ 频谱分解为每个低频段、高频段和中频段频率分量，通过 IDCT 将其逆变换到图像域，并通过预定义的代理模型进行特征提取。继最近关于可转移生成攻击的工作（Salzmann et al. 2021；Zhang et al. 2022）之后，我们利用中间层特征 fk(·) 进行特征对比学习。每个特定频段的干净和扰动特征对在我们的频率增强对比学习 (FACL) 模块中进行对比，其中与域无关的中频段 FC 对会排斥，而特定领域的低频段和高频段 FC 对会吸引彼此。这种直接但有效的频域数据和特征级指导极大地有助于提高对抗性可转移性，如以下部分所示。

1.“Frequency-Aware Domain Randomization”

本小节介绍了我们的 FADR 模块，该模块旨在提高扰动生成器 Gθ(·) 对抗实际场景中任意域变化的鲁棒性。受到最近将训练图像从像素空间转换到频率空间以提高域泛化能力的工作的启发，我们利用以下方法将输入训练图像分解为多范围 FC： DCT，并对位于低频段和高频段的特定域图像属性应用随机掩蔽滤波操作。虽然 FSDR (Huang et al. 2021) 和 FACT (Xu et al. 2021) 均采用直方图匹配和基于傅里叶的幅度混合，但我们提出的 FADR 模块明确操纵 DCT 系数以使输入图像多样化，这与最近的工作相一致（Long et al. 2022）通过频谱变换缩小代理模型和可能的受害者模型之间的差距。我们指出，我们的方法仅将域随机化应用于特定于域的 FC，这些 FC 可能会因各个域而发生变化，而现有的工作（Long 等人，2022）在整个频带上应用频谱变换，不仅包含特定于域的信息，而且还有与领域无关的语义细节。

对源图像 x s 的频谱变换操作 TFADR(·) 公式：

其中，mask:

其中 ⊙、φ、φ−1 分别表示 Hadamard 积、DCT 和逆 DCT (IDCT) 运算。随机噪声 ψ ∼ N (0, σ2I) 从高斯分布中采样，掩模值从均匀分布中随机采样，记为 U 。

2.“Frequency-Augmented Contrastive Learning”

最近关于多目标场景攻击的工作强调了特征级对比度对于可转移生成攻击的重要性。我们的 FACL 模块寻求专门在与域无关的中频范围内应用特征对比，以提高泛化能力训练后的扰动发生器 Gθ(·) 的能力。

• 谱分解。

根据图 2 中我们的 FACL 攻击的训练流程，生成的对抗图像 x ’ 在从代理模型中提取特征之前会经历谱分解。该过程是通过使用带通滤波器 M bp 和带阻滤波器 M br 来执行的，以将代理模型输入分别分解为中带和低/高带 FC。谱分解算子定义如下：

• 损失函数

通过对比干净特征和对抗性特征对来攻击代理模型的基线损失 Lorig 定义如下：

其中 sim 指的是标准余弦相似度度量。为了提高攻击可转移性，我们的 FACL 模块有效地利用了我们提出的 FACL 损失函数中的谱分解特征对，定义如下：

其中 LFACL 的目标是增强与领域无关的中带特征对比（zm，z′m）的有效性，同时最小化特定于领域的低和高带特征差异（zlh，z′lh）的重要性。在这种方法中，我们的 LFACL 促进了带特定特征对之间的推拉作用，进一步引导扰动生成朝着更稳健的方向发展，如图 4 所示。

实验

• 跨域准确率
  如表 2 所示，我们的 FACL-Attack 在大多数跨域基准测试（其中也是跨模型基准测试）上表现明显优于其他基准测试。这证明了通过我们的新颖方法训练的生成器具有强大而鲁棒的可转移能力，并在频域中提供数据和特征级指导。我们认为 FACL-Attack 卓越的泛化能力归功于我们提出的两个模块之间的协同作用，这些模块有效地指导了与域无关的中频带（即 FACL）中的特征级分离，并辅以仅应用于特定域的频率分量（即 FADR）。换句话说，我们的谱方法确实有助于提高扰动发生器对其他黑盒域以及未知网络架构的泛化能力。
• 跨模型评估结果
  换句话说，生成器针对代理模型（即 VGG16）进行训练，并在各种受害者模型上进行评估，包括 VGG-16（白盒）、VGG-19、Res-50、Res-152、Dense121、Dense- 169 和 Inc-v3。如表 3 所示，我们的攻击在大多数生成攻击上的表现也优于白盒模型（即 VGG-16）。我们优异的结果验证了除了跨域之外，跨模型攻击的强大可转移性。我们认为频率增强特征学习可以帮助扰动生成器产生更鲁棒的扰动，从而对未知特征空间表现出更好的泛化能力。这与最近的一项发现（Long et al. 2022）一致，即光谱数据随机化有助于通过模拟不同的受害者模型来增强可转移性。
• 消融
  如表 4 所示，由于域偏差和模型过度拟合，使用朴素中间层特征对比度（即 Lorig）训练的 Baseline 表现不佳。 FADR 和 FACL 均大幅优于 Baseline，分别证明了选择性随机化域变量数据组件和对比域不变特征对对于提高黑盒可迁移性的重要性。此外，我们的产品始终表现最佳。我们推测 FADR 和 FACL 是互补的，因为通过 FADR 进行的数据增强有助于稳定的特征对比学习。
• 与全带随机化的比较
  我们新颖的领域感知方法优于朴素的全范围随机化方法（即 All-Rand）。

思考：域的问题