牛津大学出品：随机噪声对抗训练

关注公众号，发现CV技术之美

▊ 1 引言

该论文出自于牛津大学，主要是关于对抗训练的研究。目前已经有研究表明使用单步进行对抗训练会导致一种严重的过拟合现象，在该论文中作者经过理论分析和实验验证重新审视了对抗噪声和梯度剪切在单步对抗训练中的作用。

作者发现对于大的对抗扰动半径可有效避免过拟合现象。基于该观察结果，作者提出了一种随机噪声对抗训练，实验表明该方法不仅提供了单步对抗训练的减少计算开销的好处，而且也不会受到过拟合现象的影响。

论文里没有提供相关源代码，本文最后一节是关于该论文算法的一个简单实现。

论文链接：https://arxiv.org/abs/2202.01181

▊ 2 预备知识

给定一个参数为的分类器，一个对抗扰动集合。如果对于任意的对抗扰动，有，则可以说在点关于对抗扰动集合是鲁棒的。对抗扰动集合的定义为：

为了使得神经网络模型能够在范数具有鲁棒性。对抗训练在数据集上修正类别训练进程并最小化损失函数，其中对抗训练的目标为：

其中是图片分类器的交叉熵损失函数。由于找到内部最大化的最优解是非常困难的，对抗训练最常见的方法就是通过来近似最坏情况下的对抗扰动。虽然这已经被证明可以产生鲁棒性模型，但是计算开销随着迭代数量而线性增加。

因此，当前的工作专注于通过一步逼近内部最大化最优解来降低对抗训练的成本。假设损失函数对于输入的变化是局部线性的，那么可以知道对抗训练内部最大化具有封闭形式的解。

利用这一点提出了，其中对抗扰动遵循梯度符号的方向，等人建议在之前添加一个随机初始化。然而，这两种方法后来都被证明容易受到多步攻击，具体公式表示为：

402 Payment Required

其中，服从概率分布。当是投影到操作，并且是均匀分布，是输入空间的维数。

▊ 3 N-FGSM对抗训练

在进行对抗性训练时，一种常见的做法是将训练期间使用的干扰限制在范围。其背后原理是，在训练期间增加扰动的幅度可能不必要地降低分类精度，因为在测试时不会评估约束球外的扰动。

虽然通过剪裁或限制噪声大小来限制训练期间使用的扰动是一种常见做法，但是由于梯度剪切是在采取梯度上升步骤后执行的，所以剪切点可能不再进行有效的对抗训练。

基于上述动机，作者主要探索梯度剪裁操作和随机步长中噪声的大小在单步方法中获得的鲁棒性的作用。作者本文中提出了一种简单有效的单步对抗训练方法，具体的计算公式如下所示：

其中是从均分布中采样得来。由于不涉及梯度剪裁，可以发它扰动的期望平方范数大于。相关算法流程图，引理和定理的证明如下所示。