【论文阅读】Adversarial Vertex Mixup: Toward Better Adversarially Robust Generalization#CVPR2020

最新推荐文章于 2023-05-19 20:52:59 发布

@logics

最新推荐文章于 2023-05-19 20:52:59 发布

阅读量875

点赞数

分类专栏：论文学习文章标签： cv

原文链接：http://xxx.itp.ac.cn/pdf/2003.02484.pdf

版权

论文学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

论文地址：http://xxx.itp.ac.cn/pdf/2003.02484.pdf

解决问题：

虽然对抗性训练是对抗性训练中最有效的防御形式之一，但不幸的是，对抗性训练中存在着测试准确性和训练准确性之间的矛盾。

总结：

在本文中，我们发现对抗性特征过拟合（AFO）会导致对抗性鲁棒泛化能力差，并且我们证明了对抗性训练可以在鲁棒泛化方面超过最优点，从而导致我们的简单高斯模型中的AFO。考虑到这些理论结果，我们提出软标记作为一种解决AFO问题的方法。此外，我们还提出了对抗性顶点合成（AVmixup），这是一种软标记的数据增强方法，用于改进对抗性鲁棒泛化。通过对CIFAR10、CIFAR100、SVHN和微型成像网络的实验，验证了AVmixup算法能显著提高鲁棒泛化性能，减少标准精度和对抗性鲁棒性之间的权衡。

背景：

Schmidt等人[31]证明了鲁棒训练比标准训练需要更大的样本复杂度，假设鲁棒训练的困难源于大样本复杂度。 Tsipras等人[35]表明对抗性稳健性和标准准确性之间可能存在权衡。他们认为，在对抗性训练中学习到的特征不同于在标准训练中学习到的特征，并将这种差异归因于权衡。最近，Ilyas等人[12] 证明了用于训练深度学习模型的特征可以分为对抗性稳健特征和非稳健特征，而对抗性实例问题可能是由这些非稳健特征引起的。那么，如果对抗性的例子是特征，而不是错误，那么我们自然会想：在对抗性训练中，我们是否可以考虑到“对抗性特征”之间的泛化？如果是这样的话，那么在对抗性干扰下，对抗性训练中的测试精度和训练精度之间是否有很大的差距是由于对抗性特征泛化的失败造成的呢？

基于这些问题，我们提出了一个理论模型来证明对抗性训练中鲁棒泛化性能的变化。

贡献：

我们给出了一个理论分析，证明了特征表示方差的变化对鲁棒泛化的影响程度。
我们发现了对抗性特征过度拟合（AFO），即在对抗性训练过程中，模型过度拟合对抗性特征的现象，导致鲁棒泛化能力差。
我们提出了对抗性Vertex混合（Vmixup），一种以协作方式进行对抗性训练的软标记数据增强方法。
我们用CIFAR10、CIFAR100、SVHN和微型成像网络的实验结果分析了我们提出的方法，并表明Vmixup显著提高了最新对抗训练方法的有效性。

方法：

1.理论贡献：

首先，使用一个简单的高斯数据模型来证明最小化特征表示方差的必要性，以实现鲁棒泛化。结果表明，基于鲁棒泛化的最优模型参数不同于基于鲁棒性和非鲁棒性数据的模型参数，后者能最大限度地降低对抗性经验风险。最后，我们通过证明，即使在我们的简单高斯数据模型中，由于模型在对抗性例子上过度训练，鲁棒泛化性能也会下降，从而证明了大多数深部神经网络并非没有AFO。基于实例1和定义3中定义的线性分类器，我们证明了以下定理：

当v=1,即当两个方差相等时，对 $\epsilon$ >0的鲁棒泛化能力与标准泛化能力相同的概率有效地变为零。因此，为了保证我们的模型在与标准泛化相同的水平上表现出鲁棒泛化，需要特征表示的方差比标准学习的方差小。

因此，特征表示的方差越小，模型的鲁棒泛化性能越好。

接下来，我们展示了在训练模型以最小化对抗性经验风险时特征表示方差的变化。具体来说，我们利用稳健和非稳健特征的概念，并在一个类似于[35]之前使用的模型中展示了对抗性训练在AFO（对抗性特征过拟合）中的结果。

这里，x1是一个与标签紧密相关的健壮特性，而其他特性x2,...,xd+1是与标签弱相关的非稳健特征。这里，η<1是一个非负常数，它很小但足够大，使得一个简单的分类器获得一个小的标准分类误差。与鲁棒学习相关的困难在于需要显著的大样本复杂度[31]。给出这个假设，我们用以下假设将示例2扩展到示例3

假设1：假设数据中的非稳健特征个数为N，由于在稳健学习中缺乏数据样本，N个非稳健特征中的M个特征形成一个远离真实分布的样本分布。我们称M个非稳健特征为“不足的”非稳健特征。相反，其他非稳健特征称为“充分”非稳健特征。

在本例中，我们假设不充分的非稳健特征形成与稳健特征相同的样本分布。

我们使用以下线性分类器显示了在对抗训练期间特征表示的方差：

在我们的模型中，通过考察 w^Tx 的方差来说明对抗性训练对鲁棒泛化的影响程度是合理的。基于Example3和Defination4中定义的线性分类器，我们可以证明以下定理：

（假设为凸函数然后求导设为0的解）

这一结果与文献[35]的结论一致，后者假定所有非稳健特征的样本数足够大。然而，对于Example3中的非鲁棒特征，我们的样本数量有限，这可能导致结果与定理2的结果不同。因此，我们需要找到关于真分布的 $w_{B}^{*}$ ，以显示我们模型的鲁棒泛化能力。

（假设为凸函数然后求导设为0的解）

为了简单起见，我们假设在Theorem3中，分类器对具有相同分布的特征赋予相同的权值，并且有限可行集不会改变分类器的最优权值。因此，我们可以通过观察鲁棒学习过程中的 $w_{B}$ 来预测分类器的鲁棒泛化性能。注意引理1(Tsipras等人将对抗性经验风险最小化会导致分类器对非稳健特征赋予0个权重)也适用于我们的分类器。因此，如果我们的样本数据没有足够的非鲁棒特征，那么即使在鲁棒泛化方面最优的 $w_{B}^{*}$ 不是0（有足够的话分母远大于分子， $w_{B}^{*}$ 是0）， $w_{B}$ 在对抗性训练中也接近于0？？。我们称这种现象为对抗性特征过拟合.

2.对抗性Vertex混合

当模型只针对足够的非稳健特征进行过度优化时，当训练数据具有许多类型的不充分非稳健特征时，就会产生AFO。从这个角度，我们可以想到几种方法来解决AFO。首先，在训练过程中构造对抗性例子的算法的多样性可以增加。这可能是克服大样本复杂度导致的鲁棒泛化能力差的一个基本解决方案。其次，当鲁棒学习的大样本复杂度不能满足时，标签平滑可以直接正则化过拟合问题，如[33]。本质上，软标记可以防止足够的非鲁棒特征的权重变为零。本文提出了一种利用软标记提高鲁棒泛化能力的方法。

基于Mixup [39]的启发，通过线性插值扩展了训练分布。然而，与Mixup不同的是，对于每个原始输入向量，Vmixup定义了对抗方向上的虚拟向量，并通过虚拟向量和原始输入向量的线性插值来扩展训练分布。我们将虚拟向量称为对抗顶点（见图1）。形式上，对抗顶点定义如下：

对于标签平滑函数φ，我们使用现有的标签平滑方法[33]。具体地说，在k类的情况下，算法将λ∈（0,1）赋给真类，并将 $\frac{1-\lambda}{k-1}$ 平均分配给其他类。总之，在算法1中描述了利用Vmixup进行对抗性训练的整个过程。

实验结果：

在图2中，PGD模型对PGD10的验证精度曲线显示，模型从大约40k步开始过度拟合，而AVmixup模型继续改进。

Vmixup模型对CW攻击没有明显的改进，对于类数较多且每类训练示例数较少的具有挑战性的数据集（如CIFAR100），这种趋势变得更为严重。我们可以推断这个属性显示为AVmixup使用线性插值。换言之，利用数据点之间的线性插值构造的虚拟数据的算法只能严格概括训练步骤中观察到的特征。我们通过一个简单的实验来证实这个解释，其细节和进一步的讨论可以在补充材料中找到。这意味着，尽管AVmixup在对抗性训练中显示出对对抗性攻击的高度鲁棒性，但它可能无法抵御其他类型的攻击。因此，对抗性训练过程中产生的对抗性例子的多样性对AVmixup更为重要。