Pyramid Adversarial Training Improves ViT Performance

本文提出了金字塔对抗训练（Pyramid AT），可以提高VIT的整体性能。将其与一个“匹配的”Dropout和随机深度正则化配对，该正则化对干净和对抗样本采用相同的Dropout和随机深度配置。

金字塔对抗训练打破了VIT和相关架构的分布内准确性和分布外鲁棒性之间的平衡。金字塔攻击旨在以一种结构化的、可控的方式(类似于增强亮度)对图像进行大编辑，并以一种灵活的方式(类似于像素对手)对图像进行小编辑。

主要贡献：

1. 第一个证明了对抗性训练在ImageNet和分布外的ImageNet鲁棒数据集上提高ViT模型性能
2. 证明了匹配Dropout和随机深度对于ViT对抗性训练的重要性。
3. 设计金字塔对抗性训练来生成多尺度、结构化的对抗性扰动，它在非对抗性基线和像素扰动对抗性训练上取得了显著的性能增益。
4. 建立了ImageNet-C、ImageNet-R和ImageNet-Sketch的新技术状态，而不需要额外的数据，只使用我们的金字塔对抗性训练和标准的vitb /16框架。通过加入额外的ImageNet-21K数据来进一步改善我们的结果
5. 我们执行大量消融,突出关键性能的几个因素。

方法

对抗训练

为了弥补一般对抗训练clear accuracy比较低的缺点，用以下目标对干净和对抗图像进行训练:

 该目标使用对抗性图像作为正则化或数据增强的一种形式，以迫使网络朝着某些对非分布数据表现良好的表示方式发展。

Pyramid AT 

动机：我们的主要动机是设计一种两全的攻击:低量级的灵活组件和高量级的结构化组件;
这种攻击可以导致较大的图像差异，同时仍然保留类身份。

方法：

  设置的攻击：

对于像素攻击和金字塔攻击，我们对使用多个步骤[35]的随机标签使用投影梯度下降(PGD)。
关于损失，我们观察到，对于ViT，最大化真实标签的负损失会导致攻击性标签泄漏[29]，即网络学习预测对抗性攻击，并在扰动后的图像上表现更好。
为了避免这种情况，我们选择一个随机标签，然后最小化[29]中描述的针对该随机标签的softmax交叉熵损失。

“Matched” Dropout and Stochastic Depth

ViT模型的标准训练使用Dropout和随机深度作为正则化器。在对抗性训练中，我们有一个小批量的干净样本和对抗性样本。这就提出了对抗性训练(像素或金字塔)中的Dropout处理问题。

对于小批处理中的每个训练实例，干净分支只更新网络的子集，而对抗分支更新整个网络。
因此，对抗性分支更新在评估过程中与模型性能更紧密地结合在一起，从而导致对抗性精度的提高，但代价是clean accuracy。目标函数：

 M(θ)表示具有随机Dropout掩码和随机深度构型的网络。
为了解决上述问题，我们建议使用“匹配的”Dropout对ViT进行对抗性训练，即对干净的和对抗性训练分支使用相同的Dropout配置(以及对抗性样本的生成)。

实验

在ImageNet-1K、ImageNet-21K进行训练，

在两个变体ImageNet-ReaL（重新标记原始ImageNet的验证集，以纠正标记错误）、ImageNet-V2（它收集ImageNet的另一个版本的评估集。）评估in-distribution performance 。

在以下6个数据集上面进行out-of-distribution 鲁棒性：

• ImageNetA（将ImageNet对象放置在不寻常的上下文中或方向;）
• ImageNet-C（它应用了一系列损坏）
• ImageNet-Rendition（包含该对象的抽象或呈现版本的;）
• ObjectNet（由大量不同背景、旋转和成像视点组成的大型真实世界集合;）
• ImageNet-Sketch（包含了对象的艺术素描;）
• Stylized ImageNet（处理ImageNet图像与样式传输从一个不相关的源图像。）

PixelAT模型倾向于紧紧地“捕捉”它的注意力到感知的对象上，忽略了大部分的背景。具体来说，PixelAT模型可能会低估物体的大小或形状，只关注物体的一部分而不是整体。

与baseline model 相比，金字塔模型的表示侧重于形状，对纹理的敏感性较低