论文笔记：Adversarial Patch

Adversarial Patch

Tom B. Brown, Dandelion Mané, , Aurko Roy, Martín Abadi, Justin Gilmer

{tombrown,dandelion,aurkor,abadi,gilmer}@google.com

本文提出了一种在现实世界中通用的，鲁棒的，目标性的对抗性图像补丁。补丁可以打印，添加到任何场景后呈现给分类器，即使补丁很小，它们也会导致分类器忽略场景中的其他项目，并报告所选择的目标类。

• 通用性：生成的补丁可以用以攻击任何场景。
• 鲁棒性：可以对补丁进行缩放，旋转，变换位置等之后同样可以攻击目标。
• 目标性：补丁可以指定攻击目标，根据攻击者的意志输出想要输出的类别。

之前的攻击方式：

• 通过细微的改变图像的各个像素（肉眼不可见）从而使网络改变输出结果。使用的优化策略如：L-BFGS，FGSM, DeepFool, Projected Gradient Descent (PGD), Logit-space Projected Gradient Ascent (LS-PGA，离散输入） 。
• 其他的攻击方法试图只修改图像中的少量像素（基于雅可比矩阵的显著性映射），或者在图像的固定位置上修改一个小补丁。

Motivation: 之前的工作都是集中在攻击和防御在输入的微小或难以察觉的变化上，我们构建的攻击会产生一个与图像无关的补丁，它对神经网络非常显著。然后，这个补丁可以放置在分类器视场内的任何地方，并使分类器输出一个目标类。优势：

• 本文的因为这个补丁是独立于场景的，所以它允许攻击者在不事先知道照明条件、摄像机角度、被攻击的分类器类型，甚至是场景中的其他项目的情况下创建一个物理世界攻击。
• 攻击者在构建攻击时不需要知道他们正在攻击的映像。
• 补丁可以在互联网上广泛分发，供其他攻击者打印和使用。
• 攻击使用了一个较大的扰动，现有的防御技术集中于防御小的扰动，可能对像这样的较大的扰动没有鲁棒性。

Approach：生成一个补丁代替完全代替图片的一部分，补丁可以是任何形状，训练时对每个图像的补丁都可以进行平移，翻转，缩放，使用梯度下降进行优化。给定图像：

x∈R(c×w×h)，patch(P ), patch location(L), patch transformations(t)

定义运算符A(p，x，l，t)，先对patch进行transform, 然后将其放到image的位置L处。

文中使用了Athalye的Expectation over Transformation (EOT)框架的一个变体，patch训练优化的函数：

文中还考虑了对补丁进行伪装，增加限制条件： ||p − p（orig）||∞ < s（s是阈值），这样可以让补丁看起来和原图更加相似。

作者认为，这种攻击利用了图像分类任务的构建方式。 在一张有很多个目标的图片中（比如一张图片里有一个人，一条狗等），分类任务必须学会寻找“最显著的”特征帧作为唯一标签，patch利用这一特性，产生比现实世界中的对象更突出的输入，从而误导分类结果。

总结：我们证明，我们可以生成一个通用的、健壮的、有针对性的补丁，无论补丁的规模或位置如何，它都可以欺骗分类器，并且不需要知道它正在攻击的场景中的其他项目。我们的攻击在现实世界中很有效，并且可以伪装成一个无害的贴纸。这些结果表明，一种攻击可以离线创建，然后广泛共享。即使人类能够注意到这些补丁，他们也可能不理解这个补丁的意图，而是将其视为一种艺术形式。这项工作表明，只关注于防御小的扰动是不够的，因为大的，局部的扰动也可以破坏分类器。