《RPATTACK: REFINED PATCH ATTACK ON GENERAL OBJECT DETECTORS》论文分享（侵删）

原文地址：Rpattack: Refined Patch Attack on General Object Detectors | IEEE Conference Publication | IEEE Xplore

author={Hao Huang and Yongtao Wang and Zhaoyu Chen and Zhi Tang and Wenqiang Zhang and Kai-Kuang Ma}
title={RPATTACK: Refined Patch Attack on General Object Detectors}

一、介绍

一种新的基于补丁的方法来攻击一般的对象检测器。

我们试图找到对攻击最重要的像素，我们称之为关键像素。我们提出了一个补丁选择和细化方案来逐步实现这一目标，因为我们了解到，在训练过程的开始，关键像素非常难以识别，并且当我们更新扰动时会发生变化。具体来说，我们自适应地找到补丁的基础上的梯度攻击，并逐步删除每个补丁中的无关紧要的像素，直到攻击过程变得稳定。

红线和白色线的框分别由YOLO v4[7]和Faster RCNN [8]预测。我们展示了由RPAttack（我们的），DPATCH和DPAttack生成的对抗图像。

二、方法

（1）Problem Formulation

我们攻击了两个不同架构的检测器，Faster R-CNN和YOLO v4，并试图隐藏这两个检测器的所有对象。我们使用bi，ci来表示边界框和置信度得分。我们的目标是以最小的扰动从这两个探测器中隐藏所有对象，可以用公式表示为：

其中xj是第j个图像，Di（x）表示由第i个检测器检测到的图像x的边界框编号，Pj是我们添加到第j个图像的扰动，并且Area（Pj）是第j个图像中的扰动面积。

（2）Attack on General Object Detectors

为了从不同的检测器中隐藏对象，我们需要降低每个边界框的置信度得分ci。

其中L（·，·）是均方误差（MSE），ci是第i个边界框的置信度得分。

首先，我们将图像输入到两个检测器，并得到具有置信度的边界框。然后，我们执行instancelevel攻击，这意味着我们可以修改边界框中的所有像素。一次迭代的梯度不能准确地揭示关键像素的位置，所以我们重复instancelevel攻击，直到所有检测器都不能检测到任何对象，以获得稳定可信的梯度热图来找到初始关键像素。接下来，我们用从累积梯度热图中获得的初始关键像素攻击原始图像。然后，我们执行一个集成攻击，其中我们自适应地找到最合适的位置修改在每个Ak迭代，并删除无关紧要的扰动时，攻击变得稳定。最后，为了生成较少扰动的像素，我们执行点移除以进一步移除对最终结果没有影响的扰动像素。经过以上的粗处理，我们可以得到一个具有更小扰动和更好性能的对抗图像。

我们将从原始图像预测的每个H ×W实例框划分为一个由单元格组成的H/m × W/m网格（每个网格的大小为m×m）。然后，我们对所有实例框的每个单元格中的绝对梯度值求和，并选择前K个（我们在实验中设置K=5）单元格。由于网格形状的对抗补丁可以成功地攻击具有最小扰动像素区域的图像，我们将顶部K单元转换为网格形状的单元，并将网格线上的像素作为初始关键像素。

（3）Patch Selection and Refining

虽然我们可以根据累积梯度热图得到关键像素的初始位置，但当我们更新扰动时，关键像素会发生变化。此外，初始扰动可能不包括所有关键像素。提出了一种自适应的方法来解决这些问题，即在每一次Ak迭代中，根据当前梯度向图像中添加一个对抗性补丁。通过这种方式，我们可以找到新的关键像素，这是当前迭代中最合适的。

我们修改的像素并不都在攻击中起关键作用。然而，在攻击过程之后去除其中的一些可能会导致攻击性能的下降，因为其他关键像素没有被充分修改。去除攻击过程中的无关扰动，保持攻击过程，可以充分修改剩余的关键像素。在我们的工作中，当攻击变得稳定时（边界框的数量至少达到最小值Dk次），我们去除了像素变化值小于平均变化值除以3的扰动。我们重复这个过程，直到达到最大迭代次数I。

（4）Stabilize Ensemble Attack

为了稳定集成攻击并避免过度优化特定检测器，我们使用以下方法来修改图像。

其中x = k是第k次迭代中的对抗样本，Ji是我们用来攻击第i个检测器的损失函数，α是更新的步长，权重wi是平衡梯度的参数，Di（x）是第i个检测器检测到的x中的实例数。

三、实验

数据集：VOC 2007 [13]测试集和Alibaba-Tsinghua Adversarial Challenge on Object Detection中的数据集。

指标：

其中Plimit是扰动率的上界，Pj率是第j个对抗图像中的扰动率。AS显示扰动的面积分数。

修改非常少的像素可以完全禁用SOTA检测器。

所提出的RPAttack性能更好，并产生更少的扰动。

DPATCH[4]和CAP[2]分别是代表性的基于补丁和基于完整图像的攻击。隐藏目标会导致检测器没有输出，这可以降低mAP。

四、总结

本文提出了一种新的改进的基于补丁的攻击方法RPAttack，该方法可以在更小的扰动下生成补丁，性能优于其他工作。为了找到攻击的关键像素并去除不重要的扰动，我们引入了一种新的补丁选择和细化方案。据我们所知，这是第一个基于梯度自适应选择关键像素的方法。对于稳定的集成攻击，我们平衡了不同架构的检测器的梯度，以避免过度优化其中一个。我们的RPAttack可以在Yolo v4和Faster R-CNN上实现100%的惊人漏检率，而在VOC 2007测试集上只修改了0.32%的像素。实验结果表明，基于深度学习的检测器非常容易受到对抗性补丁攻击，即使只有很少的像素被修改。我们希望我们的工作能引起更多的关注对抗补丁攻击的潜在威胁。