TPAMI 2024 | 利用先验引导知识改进快速对抗训练

Improving Fast Adversarial Training With Prior-Guided Knowledge

利用先验引导知识改进快速对抗训练

Xiaojun Jia; Yong Zhang; Xingxing Wei; Baoyuan Wu; Ke Ma; Jue Wang; Xiaochun Cao

---

摘要

快速对抗训练（FAT）是一种在白盒攻击场景中提高鲁棒性的高效方法。然而，原始的 FAT 存在灾难性过拟合问题，这会在训练几个周期后突然且显著降低鲁棒性。尽管已经提出了各种 FAT 变体以防止过拟合，但它们需要较高的训练时间。在本文中，我们通过比较标准对抗训练和 FAT 的训练过程，研究了对抗样本质量与灾难性过拟合之间的关系。我们发现，当对抗样本的攻击成功率变差时，就会发生灾难性过拟合。基于这一观察，我们提出了一种正向的先验引导对抗初始化，通过在不增加额外训练时间的情况下提高对抗样本质量来防止过拟合。该初始化是通过利用历史训练过程中的高质量对抗扰动生成的。我们为所提出的初始化提供了理论分析，并提出了一种先验引导的正则化方法，以增强损失函数的平滑性。此外，我们设计了一种先验引导的集成 FAT 方法，该方法使用不同的衰减率对历史模型的不同模型权重进行平均。我们提出的方法称为 FGSM-PGK，结合了先验引导知识，即在历史训练过程中获得的先验引导初始化和模型权重。所提出的方法可以有效地提高模型在白盒攻击场景下的对抗鲁棒性。