【论文精读】Black-box adversarial patch attacks using differential evolution against aerial imagery object

---

前言

论文题目：Black-box adversarial patch attacks using differential evolution against aerial imagery object detectors
论文原文：https://doi.org/10.1016/j.engappai.2024.109141
论文来源：ScienceDirect SCI1区
发表时间：2024

---

摘要

对抗性补丁攻击通常用于攻击航空图像目标探测器。然而，大多数现有的方法都是为白盒设置设计的，这在现实世界的场景中是不切实际的。在这项工作中，我们提出了一个使用差分进化(DE)针对航空图像目标检测器的黑盒对抗性补丁攻击的新框架。具体来说，我们首先引入了一种新的降维策略来解决DE优化问题中的高维诅咒。然后，我们设计了三个通用适应度函数，以帮助DE在有限的计算预算内选择更好的个体。最后，我们在航空图像物体检测数据集(DOTA)上针对You Only Look Once (YOLOv3, YOLOv4)和Faster基于区域的卷积网络(Faster R-CNN)进行了广泛的实验，利用攻击成功率(ASR)和平均精度(AP)来定量评估攻击效率。在YOLOv3上对平面类别的结果表明，与现有的降维方案相比，我们提出的策略在ASR方面至少提高了20.97%。此外，在不同结构的检测器上进行的实验表明，不同类别的对抗鲁棒性不一致。据我们所知，这是第一个探索DE在针对航空图像目标探测器的黑盒对抗性补丁攻击中的使用的工作。

---

一、介绍

1、背景

本文研究的背景是深度神经网络 (DNN) 在航空航天图像分析领域的广泛应用以及其对抗性攻击的潜在威胁。

1. DNN 在航空航天图像分析中的应用：

深度神经网络 (DNN) 在航空航天图像分析领域取得了巨大的进步，例如：
变化检测： 自动识别和分析图像中的变化，例如城市扩张、森林砍伐等。
船只分类： 自动识别和分类图像中的船只类型，例如货船、渔船等。
城市规划： 使用图像数据进行城市规划，例如道路规划、土地利用规划等。
DNN 在航空航天图像分析中的优势在于其强大的特征提取能力和自动化处理能力，可以提高分析效率和精度。

2. DNN 的对抗性攻击：

尽管 DNN 在航空航天图像分析中具有许多优势，但它们也面临着对抗性攻击的潜在威胁。
对抗性攻击是指通过添加微小的扰动来欺骗 DNN 模型，使其产生错误的预测。
对抗性攻击可以分为白盒攻击和黑盒攻击：
白盒攻击： 攻击者可以访问模型的内部信息，例如权重和结构，从而更有效地生成对抗性样本。
黑盒攻击： 攻击者无法访问模型的内部信息，只能通过查询模型的输出结果来生成对抗性样本。
对抗性攻击对 DNN 模型的安全性构成了严重威胁，可能导致误判和错误决策，从而带来安全隐患和经济损失。

3. 基于补丁的黑盒攻击：

基于补丁的黑盒攻击是指生成对抗性补丁，将其添加到图像中，从而欺骗目标检测器，使其无法正确识别图像中的目标。
对抗性补丁的生成可以表示为一个优化问题，目标是找到能够最大程度地降低目标检测器预测目标性分数的补丁。
基于补丁的黑盒攻击具有以下优势：
易于实现： 对抗性补丁可以物理制造，例如打印在海报或贴纸上。
难以检测： 对抗性补丁通常具有局部性和隐蔽性，难以被人类或模型检测到。
攻击性强： 对抗性补丁可以有效地欺骗目标检测器，使其无法正确识别图像中的目标。

4. 本文的研究目标：

本文的主要研究目标是提出一种基于差分进化 (DE) 算法的黑盒对抗性补丁攻击方法，用于攻击航空航天图像目标检测器。
本文提出的攻击方法具有以下特点：
鲁棒性： 可以有效地攻击不同类型的航空航天图像目标检测器。
有效性： 可以生成具有高攻击成功率的对抗性补丁。
效率： 可以有效地降低计算成本，提高攻击效率。

2、贡献

1. 基于 DE 算法的黑盒攻击框架：

   本文首次尝试使用 DE 算法进行黑盒对抗性补丁攻击，为攻击航空航天图像目标检测器提供了一种新的思路。
   DE 算法是一种强大的群体优化算法，可以有效地解决黑盒优化问题，无需梯度信息。
   本文提出的攻击框架可以有效地攻击不同类型的航空航天图像目标检测器，例如 YOLOv3、YOLOv4 和 Faster R-CNN。

2. 新的降维方案：

   本文提出了一种新的降维方案，通过复制和拼接低维度的基本决策变量来合成高维度的对抗性补丁。
   这种降维方案可以有效地解决高维度灾难问题，提高 DE 算法的计算效率，同时确保对抗性补丁的有效性。
   与传统的上采样插值方法相比，本文提出的降维方案具有更高的攻击成功率。

3. 适应度函数：

   本文设计了三种适应度函数，用于评估对抗性补丁的攻击效果，并指导 DE 算法的搜索方向。
   这三种适应度函数考虑了对象检测器输出的多样性，可以有效地评估对抗性补丁的攻击效果。
   实验结果表明，本文提出的适应度函数是通用且有效的，可以有效地攻击不同类型的航空航天图像目标检测器。

4. 转移攻击：

   本文研究了生成对抗性补丁的迁移性，即使用替代模型生成的对抗性补丁攻击目标模型的能力。
   实验结果表明，不同架构的目标检测器对不同类别的对抗性鲁棒性不一致。
   本文的研究结果表明，航空航天图像目标检测器仍然容易受到对抗性攻击，即使在黑盒设置下也是如此。

---

二、相关工作

本文的第二部分主要回顾了相关研究，包括白盒和黑盒对抗性攻击方法，并对现有方法的局限性进行了分析。

主要内容：

1、白盒攻击：
DAG (Dense Adversary Generation)： 通过迭代梯度回传来优化损失函数，攻击所有目标。
RAP (Robust Adversarial Perturbation)： 通过攻击区域提议网络 (RPN) 来降低目标检测器的性能。
Patch-based attacks： 使用对抗性补丁来欺骗目标检测器，例如 Thys 等人提出的用于隐藏人物的对抗性补丁和 Hu 等人提出的用于对抗人体检测器的对抗性纹理。
针对航空航天图像的攻击： den Hollander 等人研究了对抗性补丁在航空航天图像中的应用，Lu 等人提出了自适应缩放对抗性补丁的方法，Lian 等人提出了 AP-PA 算法，并进行了物理实验验证。

2、黑盒攻击：
基于梯度估计的攻击： 例如 ZOO 算法，通过零阶优化器来估计梯度，将黑盒攻击转换为基于梯度的白盒攻击。
基于种群优化的攻击： 例如 DEceit 算法，使用差分进化算法来生成有效的像素级对抗性扰动。
基于对抗性属性的攻击： 使用差分进化算法来优化对抗性样本，例如 Wei 等人提出的对抗性属性攻击。

3、现有方法的局限性：
白盒攻击的局限性： 需要获取目标模型的全部信息，在现实世界中难以实现。
黑盒攻击的局限性：
现有的黑盒攻击方法主要针对分类任务，难以直接应用于目标检测任务。
现有的黑盒攻击方法主要使用梯度估计，需要大量的查询，计算成本高。

---

三、理论背景

1、针对目标检测器的黑盒对抗补丁攻击

给定一个良性图像 ${\mathbf{x}}_0\in {\mathbb{R}}^{W\times H\times C}$（其中 $W,H,C$ 分别为图像的宽度、高度和通道数），攻击者旨在优化一个恶意补丁 $\mathcal{E}\in {\mathbb{R}}^{W^{\prime }\times H^{\prime }\times C}$，通过掩码 M ∈ { 0 , 1 } n M \in \{0, 1\}^n M∈{0,1}n 叠加到图像上，生成对抗样本 ${\mathbf{x}}^{\prime }$，使得目标检测器 $\mathcal{O}$ 的输出错误。对抗补丁的生成可形式化为：

${\mathbf{x}}^{\prime }=(1-M)\odot {\mathbf{x}}_0+M\odot \mathcal{E}\text{满足}\mathcal{O}({\mathbf{x}}^{\prime })\ne \mathcal{O}({\mathbf{x}}_0)$

在目标检测场景中，检测器的输出包括：

1. 物体置信度（Objectness Score） $p_i^{obj}$：表示边界框内存在物体的概率。
2. 边界框坐标 $(b_i^x,b_i^y,b_i^w,b_i^h)$：中心点坐标、宽度和高度。
3. 类别概率向量 ${\mathbf{p}}_i^{class}$：物体属于各个类别的概率。

本文仅关注物体消失攻击（Object-vanishing Attack），即通过降低所有实例的物体置信度 $p_i^{obj}$ 至预设阈值 $S_0$ 以下，使得检测器无法识别目标。

2、差分进化（Differential Evolution, DE）算法

差分进化是一种基于种群的进化优化算法，适用于黑盒优化问题。其核心步骤包括：

1. 种群初始化：随机生成 $N$ 个个体 P t = { P t ( i ) ∣ θ i l o w ≤ P t ( i ) ≤ θ i h i g h } \mathbf{P}_t = \{ \mathbf{P}_t(i) \mid \theta_i^{low} \leq \mathbf{P}_t(i) \leq \theta_i^{high} \} Pt​={Pt​(i)∣θilow​≤Pt​(i)≤θihigh​}，每个个体表示补丁的潜在参数。
2. 变异（Mutation）：通过随机选择三个个体生成变异候选解：
   ${\mathbf{P}}_M(i)={\mathbf{P}}_t(r_1)+F\cdot ({\mathbf{P}}_t(r_2)-{\mathbf{P}}_t(r_3))$
   其中 $F$ 为缩放因子（默认 0.5），$r_1,r_2,r_3$ 为随机索引。
3. 交叉（Crossover）：以概率 $C_r$ 混合父代与变异个体的参数：
   ${\mathbf{P}}_C(i)=\{\begin{array}{ll}{\mathbf{P}}_M(i)& \text{if }\text{rand}<C_r\\ {\mathbf{P}}_t(i)& \text{otherwise}\end{array}$
4. 选择（Selection）：基于适应度函数 $f$ 保留更优个体：
   ${\mathbf{P}}_{t+1}(i)=\{\begin{array}{ll}{\mathbf{P}}_t(i)& \text{if }f({\mathbf{P}}_t(i))<f({\mathbf{P}}_C(i))\\ {\mathbf{P}}_C(i)& \text{otherwise}\end{array}$

---

四、方法

1、降维策略

针对高维优化问题，提出一种基于重复平铺的降维策略：

1. 决策空间（Decision Space）：在低维空间（如 $6\times 6\times 3$）中定义决策变量 $\Delta \in {\mathbb{R}}^{w\times h\times C}$，其中 $(w,h)\ll (W,H)$。
2. 升维操作：通过**复制平铺（Duplicate and Tile）**将低维变量扩展至高维补丁空间（如 $30\times 30\times 3$），覆盖图像的目标区域。
3. 优势：
   • 减少优化空间维度（如从 900 维降至 36 维），避免 DE 陷入局部最优。
   • 生成的高维补丁具有重复的对抗纹理，增强攻击有效性。

2、适应度函数设计

针对目标检测器的输出特性，设计三种适应度函数：

1. 算法1（$f_1$）：基于最大物体置信度的筛选。
   • 计算每个实例的置信度与阈值 $S_0$ 的差值 ${\mathbf{S}}_t(i)={\mathbf{p}}_t^{obj}(i)-S_0$。
   • 若所有实例的 $\max ({\mathbf{S}}_t(i))<0$，则攻击成功。
2. 算法2（$f_2$）：基于幸存实例数量的筛选。
   • 统计置信度高于阈值的实例数（即“检测长度” $\text{length}({\mathbf{S}}_t(i))$ ）。
   • 优先选择减少检测长度的个体，若检测长度为 0 则攻击成功。
3. 算法3（$f_3$）：为每个实例独立生成补丁，但实验表明其效果较差（实验部分表中有结果）。

3、攻击框架

整体流程如上图所示：

1. 初始化：在低维决策空间随机生成初始种群。
2. 升维与评估：将个体升维后生成对抗样本，输入检测器获取输出。
3. 迭代优化：通过变异、交叉和选择操作更新种群，直至达到最大迭代次数或攻击成功。
4. 终止条件：若某个体使所有实例置信度低于阈值，提前终止优化。

---

五、实验

1.验证不同的对抗补丁的效果

2.与其他方法在视觉上的效果

3.在不同模型下的视觉效果

4.该方法在其他模型上的迁移效果

5.三种适应度函数，最终验证第二种最好

---

总结

• 基于 DE 算法的黑盒攻击框架： 本文首次尝试使用 DE 算法进行黑盒对抗性补丁攻击，为攻击航空航天图像目标检测器提供了一种新的思路。
• 新的降维方案： 本文提出了一种新的降维方案，通过复制和拼接低维度的基本决策变量来合成高维度的对抗性补丁，有效地解决了高维度灾难问题，提高了 DE 算法的计算效率，同时确保对抗性补丁的有效性。
• 适应度函数： 本文设计了三种适应度函数，用于评估对抗性补丁的攻击效果，并指导 DE 算法的搜索方向。这三种适应度函数考虑了对象检测器输出的多样性，可以有效地评估对抗性补丁的攻击效果。
• 攻击效果： 实验结果表明，本文提出的攻击框架可以有效地攻击不同类型的航空航天图像目标检测器，例如 YOLOv3、YOLOv4 和 Faster R-CNN，并生成具有高攻击成功率的对抗性补丁。
• 迁移性： 本文研究了生成对抗性补丁的迁移性，即使用替代模型生成的对抗性补丁攻击目标模型的能力。实验结果表明，不同架构的目标检测器对不同类别的对抗性鲁棒性不一致。