论文阅读Adversarial Sticker：Stealthy Attack in the Physical World

摘要

本文通过操纵贴纸sticker的粘贴位置和旋转角度来执行物理攻击。由于位置和旋转角度受打印损失和颜色失真的影响较小，因此可以在物理世界中保持良好的攻击性能。此外，为了使对抗性贴纸在真实场景中更实用，我们在信息有限的黑盒设置中进行攻击，而不是已知威胁模型的所有细节的白盒设置中进行攻击。为了有效求解sticker的参数，我们设计了基于区域的启发式差分进化算法，该算法利用了新发现的有效解决方案的区域聚合和评估标准的自适应调整策略。我们的方法在人脸识别中得到了全面验证，然后扩展到图像检索和交通标志识别。大量实验表明，该方法在复杂物理条件下有效且高效，对不同任务具有良好的泛化性。

引入&知识

Adversarial patch简介: 在实际场景中，基于 DNN 的视觉系统通过直接扫描物体来工作。所以攻击者只能通过改变物体在物理世界中的外观来向摄像头提供恶意输入，需要应对光照、距离、姿态变化等复杂的物理条件，更具挑战性。为了使对抗性样本在物理世界中可用，最近的工作引入了对抗性补丁。它不限制扰动的幅度，并在固定区域产生对抗性扰动。实验表明，补丁可以放置在物体上，并使分类器输出目标类。到目前为止，研究人员已经将对抗性补丁应用于不同的任务，例如人脸识别 、目标检测等。

Limitations of Adversarial patch: 第一个是补丁的扰动模式将面临从数字领域到物理世界的复杂转移过程。具体来说，Expectation Over Transformation (EOT) 、Total Variation (TV) loss, and non-printability score(NPS) loss用于确保真实世界对抗样本的攻击性能。EOT 在生成对抗性扰动时会考虑一组对象的变换（姿势、距离变化等）。 TV loss是为了让扰动更加平滑，NPS loss是为了处理数字像素值与实际的printed appearance的差异。一方面，这些操作计算成本高，例如 EOT 需要耗尽不同的变换。另一方面，尽管使用了 TV 和 NPS 损失，但由于打印设备的限制，扰动的值不可避免地会失真。最后但同样重要的是，目前的物理扰动是无意义的和不规则的，在外观上不够自然，容易引起人类的怀疑。这些缺点促使我们探索新形式的对抗补丁来解决上述问题。**第二个是大多数以前的对抗性补丁都是基于白盒攻击设置。**这意味着它们需要目标模型的详细结构和参数。然而，上述信息通常不容易获得，尤其是在实际应用中。探索基于查询的黑盒攻击来构建对抗性补丁在大多数实际场景中是比以前的白盒攻击更合理的解决方案。

本文主要目标：在信息有限的黑盒设置下，如何利用我们生活中现有的材料，轻松构建一个隐蔽的对抗性补丁，对复杂的物理变化具有鲁棒性。

本文没有像传统的对抗性补丁那样生成对抗性扰动模式，而是使用我们生活中存在的真正有意义的贴纸，如下图：

从技术上讲，为了寻找合适的攻击参数，我们将过程形式化为一个优化问题，并在迭代进化过程中使用遵循“适者生存”原则的进化方法来解决它。考虑到实际场景中的查询限制，我们设计了一种新的基于区域的启发式差分进化（RHDE）算法来提高效率。我们发现成功攻击的贴纸位置显示出区域聚集性。基于此，RHDE结合近交和随机交叉产生后代，并自适应调整评价标准以更好地指导搜索方向。我们还设计了一种贴纸变形计算方法，使贴纸的形状真实地适应人脸不同位置的曲率变化。该方法首先在人脸识别上进行了验证，然后扩展到图像检索和交通标志识别任务。

我们在三个任务上验证了所提出的方法：人脸识别、图像检索和交通标志识别。对于人脸识别，在物理环境中的实验结果表明，在不同的物理条件下，它可以自然地保持攻击效果，在不断改变人脸姿势的同时，最多可以成功攻击98.46%的视频帧。对于图像检索和交通标志识别，我们的方法也表现出很好的泛化性。

Related work:

• Digital Attacks: Box-constrained L-BFGS、C&W、Deepfool 等通过优化机制进行攻击。经典的攻击方法 FGSM 是一种基于 DNN 梯度信息的one-step approach。PGD是一种多步迭代方法，在负损失函数上使用投影梯度下降来生成对抗样本。后面存在工作探索了在图像的一个小的局部补丁产生噪声，而不覆盖图像中的任何主要对象的情况。上述方法是在白盒设置中进行的，攻击者可以访问威胁模型的结构和权重。
• Physical Attacks:

具体方法

扰动后的图像计算方法： $$x^{adv}=(1-A)\odot x+A\odot \bar{x}$$

where ⊙ is the Hadamard product and $\bar{x}$ is the adversarial perturbations. $A$ is a mask matrix to constrain the shape and pasting position of the patch, where the value of the pasting area is 1.

本文$x$是固定的，因此$A$也是固定的。下面说明如何得到$A$

Regional aggregation区域聚合

首先探讨粘贴位置对人脸识别任务的影响。在这样的场景中，主要依靠人脸的运动（例如眨眼、张嘴）、深度或纹理特征的活体检测通常用于确认物体的真实生理特征并抵抗照片等攻击，面具和屏幕重拍。为确保外观自然且不干扰活体检测，贴纸的粘贴位置不能覆盖面部特征。因此，使用有效区域（例如脸颊和前额）为1和无效区域（例如眼睛和嘴巴）为 0 的a face matrix $M^F\in R^{n\times m}$ 来约束贴纸的候选粘贴区域。

通过实验发现攻击成功的位置不是离散分布的，而是呈现聚集现象，且大部分聚集在一个或两个区域。同时，以被预测为错误标签置信度最高的贴纸的位置作为中心，发现真实标签和错误标签的概率随着对中心的距离递增/递减。因此，考虑采用启发式搜索。

基于区域的启发式差分进化

无目标攻击的目标函数：$\underset{\theta }{\min }L(\theta )=f(g(x;s,\theta ),\hat{t})$ ，$\theta$表示攻击参数如张贴位置，旋转角度。$s$表示sticker，$g(x;s,\theta )$表示原图像 $x$ 张贴上sticker后的新图像，$\hat{t}$表示真实标签。即被预测为真实标签的概率尽可能小。

目标攻击的目标函数：$\underset{\theta }{\min }L(\theta )=1-f(g(x;s,\theta ),\acute{t})$ ，$\acute{t}$是特定标签

由于位置参数的范围是不连续的。因此，目标函数是不连续的，并且它们相对于参数的平滑度也是未知的，因此不适合使用基于梯度的方法来优化。因此，采用进化的方法，从搜索空间中随机生成的一组解开始，利用交叉和变异产生后代，根据评价标准使适者生存，最后在迭代中找到合适的解进化过程。

但是，由于没有充分考虑人脸识别场景的特征，直接使用传统的进化算法效率不够。本文提出了一种新的基于区域的启发式差分进化 (RHDE) 算法来加速解决方案的搜索。我们为后代设计了一种新的策略，该策略利用具有攻击效率的位置的区域聚合。为了更好地引导搜索方向，我们还采用自适应评估准则调整方法，根据解决方案的当前状态及时调整攻击目标。

• 种群中的每个个体代表一个包含粘贴位置、旋转角度等的元组，即a solution vector。population$X(k)$是一组解向量。

• Strategies for the offspring’s generation子代的生成策略

  • Crossover: 使用随机个体之间的交叉和优秀个体的近亲繁殖来生成候选种群candidate populations $C(k)$

    $C_i(k)=clip(X_{{\gamma }^{\ast }}(k)+\alpha (X_{{\gamma }_1}(k)-X_{{\gamma }_2}(k)))$，${\gamma }^{\ast }$表示在population$X(k)$中最优个体的下标，${\gamma }_1$${\gamma }_2$是随机数， $C_i(k)$表示第$i$个个体。

  • Inbreeding: 在每一代的优解附近的区域中寻找解，以加快求解过程。具体来说，首先选择当前群体中的优秀个体，$\varphi ⟨X_i(k),j,l⟩$ 定义为一个操作，以个体 $X_i(k)$ 中的位置为中心，在步长 $l$ 处围绕中心的第$j$ 个方向，取出位置参数，并与$X_i(k)$中的其余参数一起形成一个新个体。$\varphi$ 应用于优等个体周围的 r 个方向（即 1 ≤ j ≤ r），并选择每个优等个体周围损失函数最小（对目标函数最满意）的个体作为后代。公式定义：$C_i(k)=\varphi <X_i(k),argmi{n}_{j}L(\varphi ⟨X_i(k),j,l⟩),l>$

  结合这两种方法，一方面利用近亲繁殖有效解决方案的区域聚合，另一方面通过随机方法生成更多样化的解决方案，避免了近亲繁殖可能陷入的局部最优。

• Adaptive adjustment of the evaluation criteria

  求解过程可以看作是一个探索-利用的过程。对于评价群体中个体的不适应度的评价标准$J(\theta )$（越小越好），一般等于目标函数$L(\theta )$的值（步骤1）。对于无目标攻击，我们设计了一种自适应策略来调整评估标准（步骤 8-13）。

  在初始阶段，没有选择的目标身份，所以我们让 $J(\theta )=L(\theta )$ 来降低 ground-truth 标签 $\hat{t}$ 的预测概率，从而在参数空间中探索尽可能多的解。当种群进化到良好状态（即最优个体 $C_{{\gamma }^{\ast }}(k)$ 对应的 top-1 类 $t_1$ 和 top-2 类 $t_2$ 的预测概率之差小于阈值 $\delta$ 时)，我们开始利用top-2类$t_2$的信息，将求解方向转变为提高$t_2$的预测概率。将 $f(g(x;s,\theta ),t)$简写为 $f_t(\theta )$ 后，判断种群是否达到良好状态的指标表述为：
  $bound=f_{t_1}(C_{{\gamma }^{\ast }}(k))-f_{t_2}(C_{{\gamma }^{\ast }}(k))$
  if $bound<\delta$，$t_2=\tau ,J(\theta )=f_{\hat{t}}(\theta )-f_{\tau }(\theta )+\rho (1-f_{\tau }(\theta )/f_{\hat{t}}(\theta ))$

  其中 $\rho$ 是比例因子。该准则减小了提升类与ground-truth类之间的概率差异，增加了提升对象的预测概率，加快了攻击参数的求解速度。通过上述$J(\theta )$判断候选种群$C(k)$和当前种群$X(k)$，选出较好的个体形成下一代$X(k+1)$(步骤14)。对于目标攻击，其解决目标很明确，即提高指定目标身份的概率。因此，标准没有调整（即省略步骤 8-13)，解总是沿着目标身份概率最大化的方向

The generation of adversarial stickers

在指定攻击参数后，我们**对贴纸进行相应的变形，以更真实地模拟贴纸在脸上的效果，使其形状与当前位置的人脸曲率相吻合。**我们首先使用3DMM方法生成给定2D人脸图像的3D模型，得到人脸位置对应的3D坐标。然后我们利用粘贴区最高点(x0,y0,z0)所在的X-Z平面的信息进行弯曲变换，再利用Y-Z平面的(x0,y0,z0)所在的信息用于在 3D 空间中旋转贴纸。形状变换的完整过程如下图。

对于弯曲变换，贴纸的Y轴坐标保持不变，我们在X-Z平面上弯曲贴纸，最终得到尺寸为$h\times w_n$的贴纸A。点在 X-Z 平面上的投影可以近似为抛物线 $z=a(x-c{)}^2+b$，其中 $c=x0,a=-\Delta h/(\Delta s{)}^2,b=-a(wn-c{)}^2$，Δs 是任意长度，Δh 是对应于 Δs 的 Z 轴上的长度。上述变量的标注及视觉效果如图。

为保证折弯贴纸A的弧长等于原宽度w，A的宽度$w_n$满足${\int }_0^{w_n}\sqrt{1+4a^2(x-c{)}^2}dx=w$。根据抛物线公式，我们可以得到贴纸 A 上所有像素的 3D 坐标的矩阵 $M_A\in R^{3\times (h\ast w_n)}$。

Implementation in the physical world

基于上述方法，在数字环境中求解被试人脸对应的攻击参数。在进行物理攻击时，我们只需要根据计算的参数将真实的贴纸粘贴到受试者的脸上。在这个过程中，有几点值得注意。 (1)我们的方法不涉及印刷和制作过程，因此不需要使用计算成本高的NPS和TV损失。 (2) 我们在求解过程中没有使用 EOT 来保证不同物理条件下的性能，但实验表明，我们的方法在不同物理条件下具有鲁棒性，例如改变面部姿势，显示出良好的适应性我们的方法。 (3) 即使计算出的解与实际粘贴位置和角度有细微的偏差，后续实验表明，由于区域聚合，仍然可以达到良好的攻击效果，验证了当攻击转移到物理环境时，位置和旋转角度往往保持一致。

EXTENSIONS TO OTHER APPLICATIONS

Image retrieval

图像检索 (IR) 系统返回按与查询图像的相似度排序的相似图像列表。与根据返回的标签和置信度分数构建对抗性补丁的人脸识别任务的对抗性攻击相比，由于查询图像和候选图像之间的相似度分数通常无法在黑盒中获得，因此图像检索攻击更具挑战性设置（例如 Bing Image Search API 等）。为了解决这个问题，我们使用 [46] 中提出的基于相关性的分数作为相似度分数，然后使用第 3 节中的方法求解贴纸的可用位置和旋转角度。

B站讲解链接
论文信息：
[1] Xingxing Wei*, Ying Guo, Jie Yu, “Adversarial Sticker: A Stealthy Attack Method in the Physical World”, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2022.
论文链接：
https://ieeexplore.ieee.org/abstract/document/9779913
代码链接：
https://github.com/jinyugy21/Adv-Stickers_RHDE