Shape Matters: Deformable Patch Attack论文分享（侵删）

原文地址：Shape Matters: Deformable Patch Attack | SpringerLink

author={Zhaoyu Chen and Bo Li and Shuang Wu and Jianghe Xu and Shouhong Ding and Wenqiang Zhang}
title={Shape Matters: Deformable Patch Attack.}

一、介绍

我们研究的目的是为了明确地探索形状在补丁攻击中的作用，直接的方法是在对抗攻击中使补丁变形。因此，需要迭代和可微分的形状表示。现有的变形相关工作需要额外的数据进行训练，并且在攻击补丁生成期间无法进行差分计算。重新考虑形状建模，我们首先需要一个可变形的轮廓，它可以表示为一个点和一系列的光线在笛卡尔坐标系。然后，我们还需要一个可微计算过程来确定每个位置是在轮廓外部还是内部。

我们提出了一种新的可变形补丁表示（DPR）。利用三角形的几何结构构造判断点，在保证计算可微的前提下，将形状模型映射到二值掩码中。然后，为了实现更好的攻击性能，我们提出了一个形状和纹理联合优化对抗补丁。如图1所示，可变形对抗补丁（DAPatch）通过变形补丁的形状来提高攻击性能。关于防御，本文通过引入对抗性形状，从一个新的角度建立了一个新的基线来反映对抗性补丁攻击的防御方法的鲁棒性。

二、方法

对于图像分类器f：x → y，我们将干净图像表示为x ∈ Rc×h×w，对应的标签表示为y。在传统的对抗性补丁攻击中，对手试图找到一个对抗性补丁δ，以显着降低分类器在每个图像上的性能。当第k次迭代的对抗图像为xk adv ∈ Rc×h×w时，则求解迭代将为：

M ∈ {0，1}c×h×w表示xk adv的二元掩码; I表示与M具有相同维数的全一矩阵。

1.可变形面片表示

(a)表示由一个点和射线组成的轮廓建模。(b)表示通过更新r从（a）得到的变形。(c)显示了通过局部三角形中的可微计算获得的掩码。(d)总结了可变形面片表示的多锚点机制。

对于△AOB，我们定义|AO| = rA，|BO|= rB。因此，对于所有C ∈ x，掩码M表示为：

因此，我们将轮廓表示转换为点是在轮廓内还是轮廓外的问题。接着，我们利用三角形的几何特性来微分计算并获得可变形掩模。对于任何落在角AOB所覆盖的区域内的C，总是存在CO或CO的延长线与AB相交于D。因此我们使用|CO|/|DO|判断C是否在△AOB内。

我们选择一个特殊的激活函数Φ，它表示为：

λ控制激活函数的稀疏性。

反映了激活函数Φ（x）的有效性。在笛卡尔坐标系中，A和B的坐标可以从射线长度r和角度间隔计算，因此D可以通过经由A、B和O的高斯消元来求解。因此，等式2可以改写为：

通过关注全局掩码M，我们基于Δ考克斯预先计算△i所属的位置。利用射线长度r和角度间隔θ，我们可以直接计算射线端点P = {P1，P2，...，PR}在笛卡尔坐标系中通过三角形性质。对于所有C ∈ △i，我们求解AB和CO的线性方程，计算D的坐标，并根据等式4确定相应的掩码值M（C，r）。

为了增强建模能力，实现更复杂的轮廓建模，我们引入了多锚点机制：

其中r（i）表示第i个锚中的射线的长度，e（i）表示r（i）和r（i+1）之间的裕度。在实际应用中，使用单个锚的可变形补丁表示可以获得很好的攻击性能。

2.可变形对抗补丁

我们通过形状和纹理的联合优化提出了我们的可变形对抗补丁。

面积表示补丁相对于图像的像素百分比，变形影响补丁的面积。显然，面积越大，攻击性能越强。为了显式地控制补丁的面积并促进形状和纹理的联合优化，损失函数L可以写为：

其中面积是可变形贴片的面积; ps被定义为贴片面积的上限; β是用于限制面积和ps的裕度的超参数。LADV是交叉熵损失。为了明确地惩罚具有太大面积的补丁，我们对掩码M进行平均，并且Lshape定义为：

假设在第k次迭代时可变形掩模为Mk ∈ Rc×h×w，等式1可以重新表示为：

全局掩码M的生成由r控制。这里，δ表示纹理的更新，r表示形状的更新。基于梯度函数L，更新过程可以被视为：

我们希望M近似为二进制。虽然用这种方法可以实现可微计算，但M在数值上只接近于二值化。为了解决这个问题，我们引入用于微扰调谐的形状比S（%）。具体来说，当形状和纹理的联合优化达到比率s时，我们锐化掩码。微调纹理，然后适应锐化掩模，以提高攻击性能。

三、实验

1.准备实验

我们对所提出的DAPatch与最先进的方法进行了比较，例如GAP，LaVAN和PS-GAN 。我们评估了两个数据集，包括德国交通标志识别基准（GTSRB）和Imagenet大规模视觉识别挑战（ILSVRC 2012）。我们将ASR定义为分类错误率。面积（%）表示补丁在成功攻击的图像上的平均面积百分比。

我们将模型架构分为三类：CNN（VGG 19 [47]，Resnet-152 [19]，DenseNet-161 [20]和MobileNet V2 [44]），ViT（ViT-B/16 [9]和Swin-B [37]）和NAS（EfficientNet-b7 [49]）。为了研究不同形状对攻击性能的影响，我们给了给予补丁不同的初始形状。GAP s和GAP c代表正方形和圆形斑块，LaVAN也是如此。DAPatch的初始形状与圆形贴片相同。这里s是70，β是200。

2.深入研究形状和纹理

补丁攻击中的扰动可以看作是一种特殊的纹理。为了通过对抗透镜评估形状信息对DNN鲁棒性的重要性，我们移除纹理并将其固定为白色。然后使补丁变形以仅研究形状的影响。

展示了DAPatch和其他补丁的可视化。

将固定形状的贴片放置在白色纹理上仅略微降低准确性。

我们利用可变形形状形成的凸形船体进行攻击，凸形船体的面积往往大于可变形形状，攻击性能不如可变形形状形状。在DAPatch中，形状的变形可以显著提高攻击性能，这表明特定的形状可以提高ASR。

补丁的纹理在放大补丁攻击的性能方面起着重要的作用。即使网络对纹理有偏见，形状也可以提高攻击性能。根据物体识别中形状和纹理之间的关系，形状偏置网络更容易受到DAPatch的影响。此外，主要基于图像中对象的形状和纹理而不是仅基于形状或纹理进行预测的模型可以更具对抗性。我们认为形状网络是对DAPatch形状最敏感的网络，形状纹理去偏网络是目前对DAPatch最好的潜在防御。形状网络应该对纹理不敏感，但对形状更敏感，以便进行预测。

DAPatch很容易混淆形状网络和形状纹理去偏网络，与正常的深度网络基本没有区别。在较大的区域，由于ASR相对较高，因此边际不明显。

我们进一步使用多锚点来研究复杂形状建模的效果。这里，锚的数量是3。

复杂建模可以提高相同区域的攻击性能，这也说明了形状对DNN的鲁棒性很重要。DAPatch并不局限于一种特定类型的攻击。DAPatch不仅评估了现有分类模型的鲁棒性，还表明特定形状可以提高攻击性能。

3.数字攻击

评估DAPatch在数字领域的有效性。

总结了ILSVRC 2012和GTSRB非靶向环境下的实验结果。当贴片面积较小时，DAPatch总是以较小的面积获得较高的ASR。实验表明，在不同的补丁面积下，DAPatch总是能以较小的面积获得较好的攻击效果。

对于更具挑战性的靶向设置，ILSVRC 2012的实验结果报告。DAPatch在不同区域下也获得了更强的攻击性能。

与基线相比，DAPatch总是可以在较小的AT网络上获得更好的攻击效果。

4.对补丁防御的攻击

我们选择可以扩展到ILSVRC 2012的补丁防御作为基准来测试补丁攻击的有效性，包括局部梯度平滑（LGS），数字水印（DW），PatchGuard和去随机平滑（DS）。

显示了在补丁防御的2%面积下的补丁攻击。在DPR的帮助下，DAPatch在所有补丁防御方法下都获得了更好的攻击性能。我们建立了一个新的基线，以反映防御方法对补丁攻击的鲁棒性从对抗形状的角度。

5.物理攻击

进行物理攻击以验证DAPatch在现实场景中的有效性。我们从ILSVRC 2012中选取了10个常见类别[43]，总共在五个不同的位置拍摄了50张图像（每个类别5张）。我们在非目标设置中使用5%面积下的角度和照明进行实验，并具有总变差（TV）损失。

显示了一些物理攻击的示例。我们选择GAP和PS-GAN进行比较。

五、结论

补丁攻击作为对抗性攻击的一种特殊形式，由于其对真实的世界的威胁性，受到了广泛的研究和分析。然而，由于缺乏一个有效的建模策略，以前的工作必须限制补丁到固定的形状，如圆形或矩形，这忽略了补丁的形状作为补丁攻击的一个因素。在本文中，我们提出了一种新的可变形补丁表示，利用三角形几何形状，并采用了可微的轮廓建模和掩蔽之间的映射过程。为了进一步提高攻击性能，我们提出了一种联合优化算法变形对抗补丁，支持形状和纹理的同时和有效的优化。大量的实验表明，特定的形状可以提高攻击性能。最后，DAPatch在数字和现实世界中对各种DNN架构构成了巨大的威胁。