MIXUP INFERENCE: BETTER EXPLOITING MIXUP TO DEFEND ADVERSARIAL ATTACKS (ICLR 2020)
1 介绍
将防御方法分类为两种
- 推理阶段:加高斯噪声,图像非线性变换(不是足够可靠)
- 训练阶段:对抗训练(对clean图像识别有影响,计算昂贵)
mixup training method 引入了globally linear behavior,同时提高了鲁棒性。尽管它的提高比起对抗训练方法不那么显著,mixup保持了在clean图像上的表现也更高效。
提出在推理阶段使用mixup,称为mixup inference(MI),每次都将输入和一个干净样本
进行mixup,然后喂给分类器。
两个基本的鲁棒性提升机制
- perturbation shrinkage 扰动收缩
- input transfer 更多的随机性
2 前提
3 方法
Compared to passively defending adversarial examples by directly classifying them, it would be more effective to actively utilize the globality of mixup-trained models in the inference phase to break the locality of adversarial perturbations.
与通过直接分类来被动防御对抗性示例相比,在推理阶段主动利用mixup训练模型的全局性来打破对抗性扰动的局部性会更有效。
3.1 MIXUP INFERENCE
MI is a specialized inference principle for the mixup-trained models
考虑一个输入 其中
未知
直接将喂给分类器F可以得到预测的标签
通用机制:
1 采样一个标签
2 从采样一个
,和x进行mixup得到
3 重复执行对输出取平均
4 实验结果