论文那些事—Boosting the Transferability of Adversarial Samples via Attention

Boosting the Transferability of Adversarial Samples via Attention（CVPR2020，ATA）

1、摘要

本文主要以提高对抗样本的迁移性为目的，黑盒攻击在真实情况中才最常发生。首先关于注意力机制，粗略的描述就是“你正在做什么，你就将注意力集中在那一点上”。本文也是首次将注意力机制运用在对抗样本上，注意力主要由反向传播的梯度构成。

本文贡献主要有三个：

1. 提出了一种新的策略来提高对抗性图像的可转移性。它的特点是引入模型注意来正则化对抗噪声的搜索，从而缓解传统方法（FGSM、I-FGSM等）生成的对抗样本对源模型的过度拟合。

2. 性能优于最先进的基准测试。

3. 可以与其他攻击算法兼容。

2、ATA攻击算法原理

首先本文通过实验验证了不同分类模型对于相同图片有着相似的注意力空间：

 所以对这这些注意力集中的地方添加对抗扰动，可能就能使对抗样本有良好的迁移性，换句话说就是期望对抗样本的搜索朝着替代模型和目标模型共同易受攻击的方向。

整体流程：

 大致讲解一下，一张原图输入进来，通过反向传播后再某一层提取出该层对应的梯度，按梯度大小就可以知道对应部分的重要程度，梯度越大表示越重要，按梯度大小进行特定攻击，即添加扰动。

attention extraction: 通过反向传播梯度估计不同特征对模型方向的重要性。

 Attention Visualization：使用RELU函数保留正向梯度，将负向梯度置为0，特征图的大小在不同的层和模型中有所不同，因此最终将注意力图通过插值到与输入图像相同的维度，这样完整的注意力图就出来了。

Optimization Algorithm：不仅误导模型错误分类，而且扰动最重要的中间特征。最终的优化损失目标函数如下。

 将注意力机制放入I-FGSM中得到如下公式：

ATA的算法流程图如下：

 3、实验结果

 4、总结

使用注意力机制专注于破坏不同模型所依赖的关键特征，并具有显著的可转移性。万物皆可注意力。