Open-set Adversarial Defense with Clean-Adversarial Mutual Learning

用干净的对抗性学习进行开放集对抗性防御

摘要

开放集识别和对抗性防御研究了深度学习的两个关键方面，这对现实世界的部署至关重要。开放集识别的目的是在测试过程中识别开放集类的样本，而对抗性防御的目的是使网络对受不可察觉的对抗性噪声干扰的图像具有鲁棒性。

• 本文证明了开放集识别系统很容易受到对抗性样本的影响。
• 此外，本文还表明，在已知类别上训练的对抗性防御机制无法很好地推广到开放集的样本。

在这些观察的激励下，我们强调了开放集对抗性防御（OSAD）机制的必要性。本文提出了一个带有清洁对抗相互学习（OSDN-CAML）的开放集防御网络作为OSAD问题的解决方案。所提出的网络设计了一个带有双注意特征去噪层的编码器，与一个分类器一起学习无噪音的潜在特征表示，它在信道和空间上的注意过滤器的指导下自适应地去除对抗性噪音。为了提高对抗性防御和开放集识别的性能，我们利用了几种技术来学习无噪音和信息丰富的潜在特征空间。

• 首先，我们加入了一个解码器，以确保干净的图像可以从获得的潜在特征中得到很好的重建。
• 然后，使用自我监督来确保潜伏特征有足够的信息量来执行辅助任务。
• 最后，为了利用清洁图像分类的更多补充知识来促进特征去噪，并为开放集识别寻找更普遍的局部最小值，我们进一步提出清洁-对抗相互学习，其中进一步引入同行网络（分类清洁图像），与分类器（分类对抗图像）相互学习。

我们提出了一个测试协议来评估OSAD的性能，并展示了所提方法对白盒攻击、黑盒攻击以及多个物体分类数据集中的矩形遮挡攻击的有效性。

引言

深度卷积神经网络（CNN）[15]的出现，促进了各种图像分类任务的显著改善。由于CNN在分类任务中的良好表现，许多现实世界的计算机视觉应用[51,53,21,2,52,40,39,41]已经实现。然而，传统的CNN存在一些局限性，在现实世界的应用中产生了影响。特别是，在过去的几年里，开放集识别[3,11,27,31,54,34,36,35,57]和对抗性攻击[13,26,5,20,49]在计算机视觉和机器学习界获得了很多兴趣

传统上，CNN假设在测试过程中遇到的类与训练过程中观察到的类是相同的。但是在现实世界中，一些在训练中未曾见过的类的开放集样本很可能会被提交给一个训练有素的分类器。在这种情况下，CNN会错误地将一个开放的样本与一个已知的类别进行分类。考虑一个用动物类别训练的CNN。给定一个来自动物类（如猫）的输入，网络能够预测出正确的类别，如图1（a-第一行）所示。然而，如图1（a-第二行）所示，当网络遇到非动物图像，如飞机图像时，CNN错误地将其归类为已知类别之一。另一方面，一个众所周知的事实是，在干净的图像中加入手工制作的人类无法感知的扰动可以改变分类器中的模型预测[13]。这些对抗性攻击可以很容易地部署并威胁到各种现实世界的应用[9,47]。如图1（a-第三行）和图1（a-第四行）所示，已知图像和开放图像的模型预测分别被这种对抗性攻击严重削弱。

在计算机视觉界已经提出了几种开放集识别算法[3,11,27,31,54]来解决前者的挑战。通过将开放集类作为一个额外的类，这些算法将c类分类问题转换成c+1类问题。如图1（b-第一行和第二行）所示，这些算法可以为已知类和开放类提供正确的分类决定。然而，如图1（b-第三行和第四行）所示，在有对抗性攻击的情况下，这些模型不能产生正确的预测。另一方面，一些防御策略[20,49,23,18]已经被开发出来以对抗后一种挑战。然而，这些防御机制都是建立在封闭集测试的假设基础上的。因此，尽管当这一假设成立时，它们表现良好（图1（c-第一行和第三行）），但如图1（c-第二行和第四行）所示，它们不能很好地推广到开放集样本。

基于上述讨论，很明显，现有的开放集识别算法对对抗性攻击并不稳健，在已知类上训练的对抗性防御机制在开放集样本存在的情况下不能很好地泛化。这一观察促使我们提出了一个新的研究问题--开放集对抗性防御（OSAD），其目的是利用对抗性鲁棒性和开放集泛化之间的互补性，这样我们就可以在对抗性噪声的存在下同时检测开放集样本并对已知类别进行分类。为了证明所提出问题的重要性，我们在CIFAR10数据集中进行了初步实验，其中只有6个类别被认为是分类器的已知类别。我们在表1中列出了这个实验的开放集检测性能（即ROC曲线的曲线下面积）和封闭集分类精度。当干净的图像被提交给网络时，开放集检测和封闭集分类的准确率都可以达到80%以上的性能。然而，当图像受到对抗性噪声的攻击时，开放集检测和封闭集分类的性能会明显下降。请注意，在这种情况下，开放集检测性能接近随机猜测（45：98%）。

为了解决这个新的研究问题，本文提出了一个带有清洁对抗性相互学习的开放集防御网络（OSDN-CAML），它可以学习一个无噪音的、信息丰富的潜在特征空间，目的是泛化到开放集样本并对对抗性攻击具有鲁棒性。

我们使用一个自动编码器网络，其分类器分支连接到其潜在空间作为我们解决方案的骨干。双注意特征去噪层被嵌入到编码器网络中，以同时去除由空间和通道方面的注意过滤器引导的对抗性噪声。

为了提高所学特征空间的信息量，清洁图像生成和自监督去噪被纳入我们的网络中，这有利于在对抗性攻击下检测开放集的样本。清洁图像生成通过解码器根据所学的潜在特征生成无噪音图像，而自我监督去噪是通过强迫网络根据所学的无噪音特征执行辅助分类任务来进行的。此外，为了充分利用干净图像和其相应的对抗性例子之间的互补性来帮助对抗性防御和开放集识别，我们加入了一个同行学习者（对干净图像进行