ImageNet图像分类对抗攻击-方案整理

公众号:DLCV

---

赛题地址：https://tianchi.aliyun.com/competition/entrance/231761/forum
赛题介绍：按照最大浮动32干扰的话，最高分为5。

方案关键词：
模型ensemble；多尺度ensemble；数据增强。

---

第一名(Score:4.4)

1. 在最初开始，从 ImageNet 数据集中挑选出 1000张可以被线下防御模型正确分类的图片，每一张图片分别属于一个类别。在攻击的时候，直接用 TargetLabel 类别对应的图片作为初始化。
2. 使用前一次提交的对抗图片作为本次训练的初始化。

Code：https://drive.google.com/open?id=1Up1fV-PaiHin3xSqXicsP9yyc1dWUD47

第二名(Score:4.1)

本组的方案类似 M-DI2-FGSM，差别在于噪声添加方式:

1. 在梯度下降时添加动量，并把当前梯度依无穷范数$L_{\infty }$作为归一化处理；文献：Boosting adversarial attacks with momentum

2. 对三个防御模型的 logits 进行加权求和得到融合的 logits，使用融合 logits 对应的交叉熵损失来进行梯度的求解 文献：Boosting adversarial attacks with momentum；

3. 一定概率对输入图像进行随机的 resize 和 padding 操作 ；
   文献：1. Improving transferability of adversarial examples with input diversity
   文献：2. Mitigating adversarial effects through randomization

4. 最终的 loss 融合了不同权重的无目标攻击的 loss 和有目标攻击的 loss；

5. 去除了 FGSM 等攻击方法中用于引导噪声的 sign()，求解梯度时对添加的扰动 $\delta$ 求梯度（与对输入图像 x 求梯度等价）。

原作者结论：动量、输入变换和融合 logits 对攻击效果的提升非常明显。

1. 添加动量可以使攻击跳出局部最优，大幅提升对线下模型的攻击成功率和对线上模型的迁移效果；
2. 对 logits 进行融合比对 loss 进行融合的效果要好，因为 logits 保留了所有类别的分类信息，可以更好地引导攻击的方向；
3. 对输入进行变换可以使攻击算法无法直接观察到原始输入，减少过拟合，提升样本迁移能力。

本组融合了无目标攻击的 loss 和有目标攻击的 loss，这样可以引导图像远离原始分类，保证在无法成功进行有目标攻击时也可以有很大概率成功进行无目标攻击。除此之外，因为有目标攻击的得分更高，所以对其 loss 赋予了更高的权重。本组的生成对抗样本的使用的 loss 为：
$$L\left(X,y^{true},y^{\text{target}};\theta \right)=1_{y^{true}}\cdot \log (\mathrm{softmax}(l(X;\theta )))-\beta \cdot 1_{y^{target}}\cdot \log (\mathrm{softmax}(l(X;\theta )))$$
本组使用无穷范数归一化代替 sign()sign() 噪声，一定程度上可以避免产生局部过大的梯度以及随后引入的高频噪声。本组使用的梯度更新过程为：
$$g_{n+1}=\mu \cdot g_n+\frac{{\nabla }_{\delta }L\left(T(X+\delta ;p),y^{\text{true }},y^{\text{target }};\theta \right)}{{\Vert {\nabla }_{\delta }L\left(T(X+\delta ;p),y^{\text{true }},y^{\text{target }};\theta \right)\Vert }_{\infty }}$$
最后，本组添加噪声的过程为：
δ n + 1 = C l i p δ ϵ { δ n + α ⋅ g n + 1 } \delta_{n+1} = Clip_{\delta}^{\epsilon} \{ \delta_n + \alpha \cdot g_{n+1} \} δn+1​=Clipδϵ​{δn​+α⋅gn+1​}
Code：https://github.com/IDKiro/Attack-ImageNet?spm=5176.12282029.0.0.42813946ZiOCID

第三名(Score:3.98)

Multi-Scale Attack

1. 实验发现集成图片不同尺寸（Multi-Scale）、水平翻转的损失可以提高性能，损失函数调整为：
   $L(x,y,target)={\sum }_{s\in S}(l(x^s,y,target)+l(x_{flip}^s,y,target))$
   ①取S=(0.8, 1, 1.25),Score = 2.49
   ②取S=(0.74,0.8,1,1.20),Score = 2.8
   ③取S=(0.5, 0.74, 0.8, 1, 1.25, 1.5),Score = 3.29

Ensemble Attack

1. 以 Multi-Scale 得到的结果作为初始值，集成三个预训练模型再次攻击。集成方式为平均三个模型的输出（logits），即$f(x)=\frac{1}{3}{\sum }_{i=1}^3{f}_i(x)$
2. 取S=(0.74,1,1.25),Score=3.89。以此为初始值，再取S=(0.8,1,1.36)，Score=3.95
3. 融合（同名图片两两比较，选取对 target 类预测概率最高的图片）上述两组图片，得到最终最优成绩：\mathrm{Score} = 3.98Score=3.98。

Code：https://github.com/Equationliu/Attack-ImageNet

第四名(Score:2.7)

将预训练模型和输入图片放到相应目录后，运行python main.py即可得到两种攻击下的对抗样本，分别耗时五分钟、十分钟左右（GTX 1080Ti）
Code:https://github.com/the-butterfly/simple_attack_for_imagenet

第五名(Score:)

本组的攻击方案来自于论文：Feature Denoising for Improving Adversarial Robustness中的两个模型进行融合，这两个模型是论文中的Resnet152Denoised模型和ResneXt101Denoised模型。此外，本组复现了论文：Barrage of Random Transforms for Adversarially Robust Defense
在算法迭代中本组使用了6个策略：

1.Input Diversity

来自论文《Improving Transferability of Adversarial Examples With Input Diversity》。
算法的基本思路是在每次迭代时对图片进行一些小变换。我们在原文变换基础上加多了几种变换（如旋转，翻转）。

2.Momentum

来自论文《Boosting Adversarial Attacks With Momentum》。
算法的基本思路是将动量梯度下降的优化方法引入到生成对抗样本的迭代中。

3.对噪声进行高斯模糊

来自论文《Evading Defenses to Transferable Adversarial Examples by Translation-Invariant Attacks》。
对这几个鲁棒模型进行定向攻击的难度非常大。分析原因，是因为其中两个采取了去噪方法，另一个采取了巨量随机变换堆叠的方法，都产生了类似（但不是）梯度掩码的现象，导致在对他们进行梯度型攻击时，梯度包含的信息很少，也就是噪声很干净。为了克服这一点，我们使用了一些策略来挖掘更多的噪声。

4.可变步长搜索

在迭代时，计算当前像素点与L无穷范数限制的边界之差，若差越小，则迭代步长越大。实验证明这对增强迁移性和白盒攻击都有效。

5.目标类图像融合

在迭代之前按一定比例融合属于目标类的图片。专门为了增强定向攻击使用。实验证明这对增强迁移性有效。

6.放宽搜索区域

对于定向攻击，我们使用34的eps作为最大扰动限制，对于非定向攻击，我们使用64的eps作为最大扰动限制。实验证明这对白盒攻击有效。

• 模型：
  本次比赛中主要使用的模型是Facebook所提供的三个Tensorflow框架下的模型以及一个复现论文的模型，四个模型下载链接如下：

  • R152-Denoise.npz
  • X101-DenoiseAll.npz
  • 复现模型（定向）
  • R152.npz（非定向）

• 代码：

  • 复现模型代码链接
  • 攻击算法代码链接

• 文件处理方式：

  • 因为Facebook提供的原模型联合起来有命名问题，所以需要重新压缩重命名。
  • 解决方案：下载完毕后，使用压缩软件打开，然后解压缩
    新建一个R152文件夹，将R152.npz解压出的所有文件放入这个文件夹中，重新压缩为zip文件，重命名为R152_rename.npz，但是我们的最终方案中不利用此模型。
    新建一个R152_Denoise文件夹，将R152-Denoise.npz解压出的所有文件放入这个文件夹中，重新压缩为zip文件，重命名为R152-Denoise_rename.npz
    新建一个X101_Denoise文件夹，将X101-DenoiseAll解压出的所有文件放入这个文件夹中，重新压缩为zip文件，重命名为X101-DenoiseAll_rename.npz
    在代码中加载以上npz文件，搜索并修改default=’'中单引号内的内容即可。