[论文笔记]Delving into Transferable Adversarial Examples and Black-box Attacks(ICLR2017)

这篇文章的主要成果：
1.提出了一种集合方法来生成对抗样本（感觉并不是本文的主要贡献，也不是特别有新意，就是把集合思想融入进了对抗样本）
2.正如论文的标题，作者深入分析了对抗样本的迁移性，并做了几何特性的分析，得出了一些比较有意思、且有点反直觉的结论。（几何部分真的太难懂了，人都看晕了）

注：这篇笔记中，蓝框里的是我对原文的一个简单的翻译，其余部分是我对文章的一些小的总结。

0 摘要

DNN的一个有趣的性质是对抗样本的存在，其可以在不同结构的模型中迁移。这些可迁移的对抗样本会严重阻碍DNN应用。过去的工作通常只利用小规模数据集研究迁移性。本文中，我们首次利用大规模数据集及大型模型来进行拓展研究，我们还是首个研究有目标对抗样本与其目标标签的迁移性。我们同时研究无目标攻击和有目标攻击，结果显示可迁移的无目标对抗样本很容易找，有目标攻击很难带着目标标签迁移。因此，我们提出了基于集成的方法来生成可迁移的对抗样本。利用这个方法，有很大比例的对抗样本可以带着目标标签迁移。我们还展示了一些几何学研究来帮助理解可迁移对抗样本。最后，我们展示了基于集成的方法能成功进行黑盒攻击。

1 简介

这章就是介绍了一下什么是对抗样本，现在大家研究的怎么样，哪些没人研究过，然后这篇文章就研究了这些。然后前半部分长篇大论的就没翻，只列了最后总结性的部分

Contributions and organization:
Section2:背景知识及实验设置
Section3:阐述了现有的能生成无目标可迁移对抗样本的方法
Section4:几乎没有现有的方法能够生成可迁移的有目标对抗样本
Section5:提出了一种新颖的基于集合的方法生成对抗样本，是首个能使大部分有目标对抗样本能够在多个模型间迁移的方法。
Section6：首个对ImageNet上训练出的大型模型进行几何特性分析，揭示了一些有趣的发现，例如不同模型的梯度方向是相互正交的。
Section7：首个展示能够在黑盒环境下进行有目标迁移的对抗样本，该对抗样本是利用在ImageNet上训练出的模型制造出来的，并且更值得一提的是，目标模型是Clarifai.com，其标签集与ImageNet的大不相同。

相关工作：对抗样本的迁移性2013年在 Intriguing properties of neural networks.上由Szegedy等人首次提出，其研究了同一数据集上训练出来的不同模型的迁移性以及一个数据集的不相交子集上训练出的不同模型的迁移性。
后续2014年Goodfellow在Explaining and harnessing adversarial examples.上提出将传递性归因于对抗扰动于模型的权重向量高度平行，该假设是在MNIST和CIFAR-10上验证的，本文证实了该假设对于ImageNet上训练的模型无效。
2016年Papernot在a： Transferability in machine learning: from phenomena to black-box attacks using adversarial samples.和b： Practical black-box attacks against deep learning systems using adversarial examples.提出构建一个替代模型来进行黑盒攻击，为了训练该模型，他们开发了一个技术，就是综合一个训练集，并通过查询目标模型来给其进行标签标注。后续，他们研究了深度神经网络与其他决策树、knn等模型间的迁移性。
我们的工作在三方面与Papernot等人不同：第一，在他们的研究中，只有模型和训练过程是黑盒的，训练集和测试集是攻击者掌握的，而本文攻击的模型，训练集，训练过程，测试集都是未知的。第二：这些研究都是基于MNIST和GTSRB等小规模数据集，而本文研究的是大模型及ImageNet等大数据集。第三：我们不通过查询目标系统来构建替代模型。
Moosavi-Dezfooli等人有一个同行且独立的研究，展示了一种能够在各个模型间迁移的“普适性扰动”，利用这种扰动生成的对抗图片可以在ImageNet上的各种模型间迁移。但他们只研究了无目标迁移性，然而我们的工作同时研究了ImageNet上的无目标和有目标攻击。

2 对抗深度学习及迁移性

2.1对抗深度学习问题

这一节就是定义了一下对抗样本问题

2.2：生成对抗样本的方法

本文考虑三类生成方法：基于优化的方法，快速梯度方法，及快速梯度符号方法。每类都分别有无目标和有目标版本。

其实我感觉就是分成了基于优化和基于梯度两类，梯度和梯度符号这两种方法就差了个sign函数。而基于优化的方法其实还是利用了梯度的，只不过是迭代的去利用梯度来生成对抗样本，而快速梯度符号方法（FGSM）只利用了一次梯度（所以叫快速嘛）&#