【论文阅读】ECCV2022 || Enhanced Accuracy and Robustness via Multi-Teacher Adversarial Distillation

通过多教师对抗蒸馏增强准确性和鲁棒性

链接：https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136640577.pdf

代码：https://github.com/zhaoshiji123/MTARD

Abstract

对抗训练是提高深度神经网络对抗鲁棒性的有效方法。虽然带来了可靠的鲁棒性，但对抗训练 (AT) 会降低识别干净样本你的性能。同时，对抗训练可以为大型模型带来比小型模型更多的鲁棒性。为了提高小模型的鲁棒性和简洁性，我们引入了多教师对抗鲁棒性蒸馏（MTARD）来指导小模型的对抗训练过程。具体来说，MTARD 使用多个大型教师模型，包括对抗教师和干净教师，通过知识蒸馏来指导小型学生模型进行对抗训练。此外，我们设计了一种动态训练算法来平衡对抗教师和干净教师模型之间的影响。一系列实验表明，我们的 MTARD 可以胜过最先进的对抗性训练和蒸馏方法来对抗各种对抗攻击。

Background

 对抗训练：将生成的对抗样本和原始样本混合在一起训练出一个鲁棒性更强的模型，是目前提高模型对抗鲁棒性最主要的方法。

 训练过程是一个最大最小化公式：先通过最大化分类损失，得到一个对抗扰动，将扰动加到原图像中得到对抗样本，用对抗样本对模型进行训练，微调参数，最小化分类损失

Motivation 

• 经过对抗训练的 DNN 识别干净样本的准确性远不如经过正常训练的 DNN，也就是说模型的鲁棒性增强，那么对干净样本的分类精度就会下降，这限制了其在实际场景中的大规模使用。
• 作者提出了多教师对抗鲁棒性蒸馏（MTARD），使用不同的教师模型，让每个教师模型负责他们精通的内容。 具体而言，MTARD使用两个教师模型，一个负责干净样本的精度，一个负责提升鲁棒性，通过知识蒸馏来指导一个学生模型进行对抗性训练。
• 为了缓解教师模型对学生模型有不同程度的影响，可能会造成学生模型发生灾难性的遗忘这种现象，设计了一种联合训练算法，在对抗蒸馏的不同阶段动态调整教师模型对学生网络的影响。

Method

 多教师对抗鲁棒蒸馏(MTARD)的框架。在MTARD过程中，我们首先利用学生模型生成对抗样本。然后分别在干净老师和对抗性老师的引导下产生学生的Lnat和Ladv。最后，我们使用自适应归一化损失来平衡干净教师和对抗教师之间的影响，并更新学生模型。

干净教师的输入是原始数据集中的初始干净样本。相反，对抗教师的输入是学生模型用通过最大化分类损失生成扰动产生的对抗样本。学生的输入分为干净样本和对抗样本。干净样本和对抗样本的输出将由对抗软标签Padv和干净软标签Pnat指导。

根据输出结果用KL散度分别生成学生模型的Lnat和Ladv（KL散度损失）。

 

学生模型在时间 t 的总损失可以表示如下：

 控制多教师学习程度的关键是控制损失权重Wadv和Wnat。

作者提出了一种自适应归一化损失来控制对抗教师和正常教师的鲁棒学习，也就是让W自适应调整。作者定义权重w的更新函数为：

rw=0.025是权重的学习率，L（0）是最开始的损失函数值，相对损失函数L(t)/L(0)可以反映损失从最开始到时间 t 的变化幅度。通过引入相对损失 ，可以动态平衡它对总损失的影响 。 

使用这个自适应损失可以在整个训练周期中抑制更强的教师的快速增长。动态调整教师模型的影响程度。 利用这个公式最后计算出总的损失后，使用随机梯度下降训练学生网络。这样学生模型就可以同时提高它的正常精度和鲁棒精度。 β=1是指数，β越大劣势损失权重越大，适用于损失值相差太大的情况。

Experiments

 该表显示了学生模型ResNet-18在CIF AR-10和CIF AR-100数据集上在这四种白盒攻击下用不同训练方法得到的模型鲁棒性。 实验结果表明，我们的MTARD方法在CIF AR-10和CIF AR-100上具有最先进的加权鲁棒精度（干净精度+鲁棒精度）/2。