【论文阅读】CVPR2022 || Segment and Complete: Defending Object Detectors against Adversarial Patch

该论文发表于CVPR2022

链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Liu_Segment_and_Complete_Defending_Object_Detectors_Against_Adversarial_Patch_Attacks_CVPR_2022_paper.pdf

代码：https://github.com/joellliu/Seg

Abstract

目标检测在许多安全关键系统中起着关键作用。对抗性补丁攻击很容易在物理世界中实施，对最先进的目标检测器构成严重威胁。为对象检测器开发针对补丁攻击的可靠防御至关重要，但研究不足。在本文中，我们提出了分段和完整防御（SAC），这是一种通过检测和去除对抗性补丁来保护对象检测器免受补丁攻击的通用框架。我们首先训练一个补丁分割器，它输出补丁掩码，提供对抗补丁的像素级定位。然后，我们提出了一种自我对抗训练算法来增强补丁分割器的鲁棒性。此外，我们设计了一种鲁棒的形状完成算法，如果补丁分割器的输出在真实补丁掩码的一定汉明距离内，则保证从图像中删除整个补丁。我们在 COCO 和 xView 数据集上的实验表明，即使在强自适应攻击下，SAC 也能实现卓越的鲁棒性，而不会降低干净图像的性能，并且可以很好地推广到看不见的补丁形状、攻击预算和看不见的攻击方法。此外，我们提出了 APRICOT-Mask 数据集，它通过对抗性补丁的像素级注释来增强 APRICOT 数据集。我们展示了 SAC 可以显着降低物理补丁攻击的针对性攻击成功率。

contributions

• 我们提出了一种通过patch分割来防御目标检测器免受patch攻击的通用方法Segment and Complete和一种鲁棒的形状完成算法。对数字攻击和物理攻击进行评估。

• SAC在非自适应攻击和自适应攻击下均具有较好的鲁棒性，且对清晰图像的性能不降低，并能很好地推广到不可见的形状、攻击预算和不可见的攻击方法。

• 我们提出了COT掩码数据集，这是第一个公开可用的数据集，提供物理对抗补丁的像素级注释。

Preliminary

Faster R-CNN Object Detector

本文采用Faster R-CNN作为基本的一项检测器。在第一阶段，使用区域提议网络(RPN)生成类无关的候选对象边界框，称为区域提议;

在第二阶段，使用Fast R-CNN网络输出一个对象类，并细化每个区域提议的边界框坐标。

Faster R-CNN的总损失为RPN与Fast R-CNN的边界盒回归和分类损失之和:

Attack Formulation

在本文中，我们考虑了针对目标检测器图像和位置的无目标补丁攻击，它严格强于通用的位置不变攻击。设x∈[0,1]H×W ×3为干净图像，其中H和W为x的高和宽。通过求解以下问题来找到一个对抗补丁：

其中，h表示目标检测器，A(x, l, P)为在位置l处将patch P加到x上的“patch应用函数”，||·||∞为L∞范数，ε为攻击预算，y为x中物体的的真实类和x中物体的边界框标签，l为物体检测器的损失函数。我们使用L = LFaster R-CNN对Faster R-CNN进行一般攻击。我们使用投影梯度下降(PGD)算法求解式(2):

其中α为步长，t为迭代数，Q为将P投影到可行集的投影函数。对抗性图像xadv为:Xadv = A(x, l, Pˆ(x, l))

我们考虑方形补丁P∈Rs×s×3，其中s为补丁大小，按照前面的工作，在每张图像上应用一个补丁。我们使用攻击预算ε = 1，使攻击者可以不受约束地任意扭曲补丁内的像素，这是物理补丁攻击和大多数数字补丁攻击的情况

Method

SAC通过检测并去除输入图像x中的对抗patch来防御目标检测器对对抗补丁的攻击。

SAC的流程：首先由一个补丁分段器生成初始补丁掩码Mps，然后使用一个健壮的形状完成算法生成最终的补丁掩码MSC。将被掩码图像送入基本对象检测器进行预测

图2.SAC方法的管道。SAC通过斑块分割和形状补全在像素级检测和去除对抗斑块，并将被屏蔽的图像输入基础目标检测器进行预测。

Patch Segmentation

训练和预生成对抗图像

首先利用等式2攻击基础目标检测器，生成一组对抗图像Xadv，然后利用预生成的对抗图像训练PSθ（PSθ 是一个用θ参数化的补丁分割器）

M代表真实的掩码，PSθ(xadv) 是输出概率图，采用二进制交叉熵损失函数。

Self adversarial training

用Xadv训练为PSθ提供了关于“对抗补丁看起来像什么”的先验知识。我们进一步提出了一种自对抗训练算法来鲁棒PSθ。具体地说，我们攻击PSθ以生成对抗性补丁攻击PSθ来生成对抗补丁

通过求解下式， 在自我对抗训练中训练PSθ

其中T是允许补丁位置的集合，D是图像分布，M是真实掩码，λ控制干净图像和对抗样本之间的权重。

用等式2生成的patch也可以训练PS，与等式2相比，等式6不需要外部标签，因为真实的掩码M由l确定。

等式7以不需要外部标签的方式训练补丁分割器来制作对抗样本和训练模型。

它加强PS来检测图像中的“patch-like”区域。并且等式6没有涉及物体检测器h，使得PS物体检测器是不可知性 的，此外，PS的模型尺寸远小于h，加快了优化速度。

通过对P Sθ的输出进行阈值处理，得到补丁分割掩码P Sθ:ˆMP S = P Sθ(x) > 0.5.

Shape Completion

Desired Properties

如果我们知道对手仅限于攻击具有特定形状的补丁，例如正方形，我们可以使用此信息来“填充”补丁分割输出组件Mps以覆盖地面真相补丁掩码M。为了提供合适的比例，我们将这个量与地面真相掩模的总幅度∥M∥H:= dH(0, M)进行比较。因此，我们希望有一个具有以下属性的补丁补全算法采用汉明距离来衡量真实的掩码M 补丁分割器的输出Mps之间的差异。为了提供合适尺寸的掩码，将这个量与地面真相掩模的总幅度∥M∥H:= dH(0, M)进行比较。因此，我们希望有一个具有以下属性的补丁补全算法

Proposed Method

如果ground-truth patch的大小已知，那么我们可以其中，设已知M是一个s×s patch，设Ms,(i′,j′)t

表示左上角为(i,j)的s×s patch的掩码，则最小程度满足式(8):通过构造最小地满足式(8)。

∥M∥H = s2.也就是，我们必须覆盖任何sxs 的补丁Ms,(i′,j′)t,距离观测到的掩码Mps

γ-近的每一个像素， 因为任何这样的补丁实际上可能是M:一个只包含这些像素的掩码因此是满足Eq.(8)所需的最小掩码。

图3.式(9)中MSC的构造:MSC是γ-接近MPS的所有候选掩码Ms(i,j)的并集。如果M γ-接近MPS，这保证M被MSC覆盖

Unknown Patch Sizes

如果过不知道s，而是有一组可能的补丁大小S，那么可以通过简单地合并为s的每个可能值生成的所有掩码来满足等式8

文章还提出了APRICOT-Mask 这一数据集，该数据集为APRICOT中的对抗性补丁提供了分割掩码和更准确的包围盒，分割掩码由三个标注器使用Labelbox[2]对其进行标注，并手动审核以确保标注质量。然后根据分割掩码自动生成边界框。