通过多教师对抗蒸馏提高准确性和稳健性

多教师对抗蒸馏提高准确性和稳健性

人们提出了许多通过知识蒸馏将大模型的鲁棒性转移到小模型的方法。 虽然这些方法可以提高小模型的鲁棒性，但对抗性训练本身会损害模型识别干净样本的能力。 因此，本文要解决的核心问题是如何提高对抗训练中的干净精度和鲁棒精度，然后提出了我们的多教师对抗鲁棒性蒸馏。

多教师对抗稳健性蒸馏（MTARD）的框架。 在MTARD的过程中，我们首先通过学生模型生成对抗性例子。 然后我们分别在干​​净老师和对抗老师的指导下产生学生的Lnat和Ladv。 最后，我们使用自适应归一化损失来平衡干净教师和对抗性教师之间的影响并更新学生模型。

以往的对抗性蒸馏方法仅带来了经过对抗性训练训练的单一模型，其鲁棒性较强，但对于干净图像的识别能力较弱。 作为唯一的指导，学生模型通常符合教师模型的分布，导致识别干净示例的能力较低。 使用GT one-hot标签作为学习目标来提高干净识别率仍然不是一个理想的选择。 因此，我们还引入了一个预先训练的干净教师模型来指导对抗性蒸馏的过程。