Adversarial Self-Supervised Contrastive Learning

论文标题:

Adversarial Self-Supervised Contrastive Learning

论文来源:

NeurIPS 2020

论文链接:

https://arxiv.org/abs/2006.07589

代码链接:

https://github.com/Kim-Minseon/RoCL

1 引言

现有的对抗学习方法大多使用类别标签来生成导致错误预测的对抗样本，然后使用这些对抗样本来增强模型的训练，以提高模型的鲁棒性。虽然最近的一些方法提出了使用未标记数据的半监督对抗学习方法，但是它们仍然需要类别标签。然而，对于深度神经网络的对抗鲁棒训练，我们真的需要类别标签么？

本文提出了一种新的针对未标记数据的对抗攻击，使得模型混淆了扰动数据样本的实例级身份。此外，本文还提出了一种自监督对比学习框架来利用未标记的数据对抗性地训练一个鲁棒神经网络，其目的是最大化随机增广后的样本与其实例级对抗性扰动样本之间的相似性。

2 论文贡献

• 提出了一种不需要类别标签的实例级对抗学习方法。
• 构造了一种基于自监督对比学习（Contrastive Learning）的框架来对抗性地训练一个鲁棒神经网络。
• 文中的方法在不使用类别标签的情况下，达到了与最新的有监督对抗学习方法相当的鲁棒准确率。

3 方法

本文的方法在使用未标记数据的情况下对抗训练一个自监督学习模型，简称为RoCL。RoCL的基本思路如下图所示：

首先，RoCL使用一个随机增广来生成一个变换后的图像，并同时生成一个实例级的对抗样本，这使得模型对于扰动样本的实例级身份产生困惑。接着，RoCL使用对比学习最大化变换后的图像与实例级对抗样本图像的相似性。最后，在经过训练后，每个样本将在特征表示空间中极大地减少其对抗脆弱性。

3.1 实例级对抗攻击

具体来说，给定一个输入实例的样本，本文生成了一个扰动样本通过混淆其实例级身份来欺骗模型，这样模型就会将扰动样本误认为另一个样本。为了生成这样一个扰动样本，本文最大化判别不同样本之间的自监督对抗损失，具体公式如下：

在这里$t(x)$和$t^{\prime }(x)$是通过随机数据增广的变换后的图像，$t(x{)}_{neg}$是$t(x)$的负样本，代表着不同于$x$的其它样本$x^{\prime }$。

3.2 鲁棒对比学习

对于实例级攻击的对比学习目标函数遵循着min-max的形式，具体公式如下：

在上面的公式中，$t(x)+\delta$是对抗图像$t(x{)}^{adv}$，它由实例级攻击生成。这里注意本文生成$x$的对抗样本使用了随机增广后的图像$t(x)$，而不是原始的图像$x$，这一做法使得我们能够生成多种多样的对抗样本。这个对抗学习框架与监督对抗学习框架本质上是相同的，不同之处在于本文训练模型使得它能够对m-way的实例级对抗攻击具有鲁棒性。此处注意提出的正则化方法可以被解释为一个去噪器。因此对抗目标函数最大化干净样本（即$t(x)$和$t^{\prime }(x)$）与生成的对抗样本（$t(x{)}^{adv}$）之间的相似性。

这一对抗目标函数基于对比学习的目标函数进行了简单的调整。它通过使用实例级的对抗样本作为正样本集合中的额外样本。基于此，鲁棒对抗学习（RoCL）的目标函数定义如下：

在上面的公式中，$t(x{)}^{adv}$是增广样本$t(x)$的对抗扰动样本，$t^{\prime }(x)$是另一种随机增广样本。 { z p o s } \{z_{pos}\} {zpos​}是特征表示空间中正样本的集合，由$z^{\prime }$和$z^{adv}$构成，而$z^{\prime }$和$z^{adv}$分别是$t^{\prime }(x)$和$t(x{)}^{adv}$的特征向量。 { z n e g } \{z_{neg}\} {zneg​}是 { t ( x ) n e g } \{t(x)_{neg}\} {t(x)neg​}中的负样本的特征向量所构成的集合。

3.3 线性评估

关于RoCL，本文对抗训练了模型而没有使用任何类标签。然而，既然模型被训练用于实例级的分类，它不能够之间被用于类别的分类。因此，现有的自监督学习模型使用了线性评估，即使用一个线性层$l_{\psi }(.)$和一个固定的特征嵌入层$f_{\theta }(.)$，具体细节如下图所示：

上图描述了RoCL的对抗训练和评估步骤。在对抗训练期间，模型最大化两个不同变换的样本 { t ( x ) , t ′ ( x ) } \{t(x),t'(x)\} {t(x),t′(x)}与它们的对抗扰动样本$t(x{)}^{adv}$之间的相似性。在模型已经完全训练获得鲁棒性之后，模型通过使用线性模型而不是投影器被用于在目标分类任务上进行评估。在这里，我们不仅可以仅仅在干净的样本之间训练线性分类器，或者使用类对抗样本来对抗训练它。

尽管RoCL用这种标准的评估方法达到了很好的鲁棒性，但是为了正确评估模型对于一种特定形式的攻击的鲁棒性，本文提出了一个新的评估方法：鲁棒线性评估（r-LE）。r-LE训练一个线性分类器通过使用特定攻击形式的类层面的对抗样本，同时保持特征提取器固定：

在上述公式中，$L_{CE}$是交叉熵损失函数，它仅仅优化线性模型$\psi$的参数。

3.4 转换平滑推断

本文进一步提出了一个简单的推断方法用于鲁棒表示。先前的工作提出了平滑分类器，这个模型对用高斯噪声扰动样本训练的分类器取一个期望，从而获得最后分类器的平滑决策边界。这一方法解决了尖锐分类器的问题，该问题会导致即使很小的扰动也会造成点的误分。本文受到这一方法的启发，对RoCL提出了一个新颖的转换平滑分类器模型，该模型通过对给定输入$x$的所有转换形式计算了期望从而预测了该样本$x$的类别$c$，具体公式如下所示：

4 实验结果

本文为了验证RoCL模型的有效性，在多个设定中进行实验，并同时与监督对抗学习方法，以及对抗微调的自监督预训练方法。本文的模型基于ResNet18和ResNet50，并且在CIFAR-10上进行训练。对于所有的基准方法和本文的方法，本文都用相同的攻击长度训练，即$ϵ=\frac{16}{255}$。

并且，本文在多种多样的情境下评估了自身模型的多个版本：

• 模型仅仅使用RoCL训练
• 模型仅仅使用自监督学习(RoCL,RoCL+rLE)
• 模型使用RoCL进行预训练，并且使用类攻击进行进一步的标准对抗训练（RoCL+AT,RoCL+TRADES,RoCL+AT+SS）
• 模型在RoCL的基础上使用转换平滑分类器

第一个实验是在白盒攻击的情况下进行的，所有的模型都是利用$l_{\infty }$训练的，因此，在这里$l_{\infty }$是看得见的对抗攻击，而$l_2$和$l_1$是看不见的攻击。实验结果由下表所示：

我们首先比较RoCL和自监督对比学习模型SimCLR。结果表明SimCLR极度容易受到对抗攻击的影响。但是，RoCL获得了对抗$l_{\infty }$攻击相对较高的鲁棒准确率（40.27）。这是一个具有启发性的结果，这表明我们可以不使用任何带标签的数据去对抗训练鲁棒模型。

除此之外，RoCL+rLE超过了部分监督对抗训练方法并且获得了与TRADES模型相比较的性能。这里需要注意虽然我们在实验中使用了相同数目的实例，但事实上我们可以使用任何可获得的未标记的数据来训练模型，这将会造成进一步的性能提升。

并且，RoCL在看不见形式的攻击下相较于监督对抗训练方法具有更强的鲁棒性。这使得RoCL相较于基准方法更具有吸引力，并表明在特征空间中对于单个样本的多种扰动形式进行身份一致性的约束是确保模型对于多种形式的攻击都保持鲁棒性的基本方法。

现有的方法表明用对抗训练微调监督或者自监督预训练的网络可以提升模型的鲁棒性。这一观点也在上表的结果中得到证实，表中的结果表明模型用RoCL进行微调可以获得更强的鲁棒性和更高的准确率。表中的数据同时表明在对抗微调中使用自监督损失可以进一步的提升鲁棒性（RoCL+AT+SS）。

同时，本文还在黑盒攻击的情况下验证了模型的有效性。本文利用AT，TRADES和RoCL来生成对抗样本，在所有方法中执行黑河攻击。实验结果如下表所示：

如上表所示，本文的模型相较于AT黑盒攻击优于TRADES，并且相较于TRADES黑盒攻击样本与AT模型性能持平。我们同时使用RoCL模型生成对抗样本并用它们来攻击AT和TRADES。被攻击的模型（AT，TRADES）的低鲁棒性表明利用RoCL进行攻击是足够强的。

5 总结

本文解决了不使用任何类标签学习鲁棒表示的问题。本文首先提出了一个实例级的攻击，使得模型混淆给定样本的实例级身份。接着，本文提出了一个鲁棒对比学习框架，通过最大化变换样本和它的实例级对抗样本之间的相似性来抑制它们的对抗不稳定性。进一步，本文阐述了一种有效的转换平滑分类器来在测试推断阶提升模型的性能。本文的模型在不使用任何标签的情况下达到了与监督基准方法可比较的鲁棒性，这表明本文的RoCL方法作为一种普遍的防御机制将更加具有吸引力。