Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images

    在卷积神经网络如日中天的现在，重要会议上的论文自然成了广大学者研究的对象。苦苦寻觅，然而并不能搜到“大家们”对论文的见解。痛定思痛，决定对自己看过的论文写点小感。只是个人看法，如有瑕疵，欢迎指正。一是为了督促自己看论文要仔细认真，二是希望有人指正自己的错误。

Abstract

       深度神经网络（DNNs）在各种模式识别任务中取得了一定的成就，其中最显著的是视觉分类问题。鉴于，DNNs现在能够以接近人类的水平对对象进行分类，那么问题自然上升为电脑和人的视觉之间的差别是什么。最近的一项研究表明，及其细微的改变一副图像，会引起DNN贴以完全不同的标签。在这里，我们展示相关的结果：有些图像对人类来说是完全不可识别的，但DNNs以99.99％的置信度来识别物体。具体来说，卷积神经网络在ImageNet或MNIST数据集上训练都表现良好，但发现通过进化算法或梯度上升处理的图片，DNNs以很高的置信度贴以标签属于某个数据集类（其实不属于这个数据集类）。我们的研究结果揭示了人的视觉和目前DNNs的差异。

1. Introduction

       在这片论文中，我们以另外一种方式展示DNN和人类视觉的区别：及其细微的改变 一副图片，对人类来说肉眼不可识别，但DNN以很高的置信水平认为它完全属于不同的类。我们还发现，对于MNIST的DNNs，避免DNNs被（被有fooling images标签重训练）愚弄是不容易的。即使经过多次重训练迭代，fooling images新的块仍然可以被产生去愚弄新网络。我们的研究结果揭示了人的视觉和目前DNNs的差异，并提出DNNs对一般跨不同类的图片（不是已经训练或测试的图片）怎样处理。

2. Methods

     2.1. Deep neural network models​

            两种网络在两种库上的训练：

            “AlexNet” trained on the 1.3-million-image ILSVRC 2012 ImageNetDataset

            LeNet model  trained on the MNIST datase

   2.2. Generating images with evolution

           EAs(evolutionary algorithms)： 是进化算法，来处理图片，将Selection(keeping the best )和perturation(mutation and/or crossover)交替进行。 传统的EAs针对一个目标上优化效果好，这里我们选用MAP-Elites算法，工作原理是每次迭代，它随机的选择，随机变异它，如果新的个体具有较高的适应，就取代目前的冠军目标。​

         EAs的两种编码方式

         第一种:直接编码direct encoding 

处理对象：只有一个灰度值的MNIST图片和有三个值（H,S,V）的ImageNet图片          处理过程：被0-255的随机噪声初始化，每个数字有0.1的几率被选择来突变，每经过一千次运算被选择的几率减小一半，被选择的数字通过多项式突变操作进行突变。

       第二种:间接编码indirect encoding

处理过程：有规则的图片，意味可以可压缩的，例如对称与重复。在论文中使用的indirect encoding是一种  compositional pattern-producing network(CPPN)。​

3. Results

    3.1. Evolving irregular images to match MNIST：易被愚弄

    3.2. Evolving regular images to match MNIST：​

       数字1往往有竖线，而图像分类作为2的往往在下半部有水平杆的图像。这一结果表明，EA利用特定的有识别力的特征匹配手写体数字。​​

   3.4. Evolving regular images to match ImageNet

       我们假设MNIST DNNs可能很容易上当，因为它们是在一个小数据集上训练的，会出现过度拟合。为了检验这一假设，我们在一个更大的数据集上训练ImageNet。​

通过实验得出以下的做出总结：

        1.经过CPPN的某种处理的一类图片，会产生独一无二的特征，而不是包含了这一类的所有特征。

        2.相关类的图片在CPPN的处理之后会产生相似的图像。另外同一图像经过不同的处理，会显示出不同的特征。

        3.经过CPPN处理的图像，会重复出现某些特征，这些特征的重复率会影响confidence.→  the larger datasets are a way to ameliorat the problem of DNNs being easily fooled.​

   3.5. Images that fool one DNN generalize to others​

       是否不同的DNNs对每一个类学习相同的特征，一个骗了DNNs a的图像，是不是也能欺骗其他的DNN? 实验：通过控制变量法，实验比较DNNa和DNNb→99.9% confidence scores by both DNNa and DNNb。​​

   3.6. Training networks to recognize fooling images

      新增一个类别，把fooling images加到这个类别中，用这个新的dataset训练其他DNN。   ​​

   3.7. Training MNIST DNNs with fooling images​

      MNIST数据库是60000副手写数字，分为10类，即0-9。因此我们如果想加fooling images类，也需要加入6000副。运行300个独立进化，每个进化产出20副进化图片。 ​结果：LeNet通过fooling images作为反面例子重训练并不能提高不被愚弄的能力​

   3.8. Training ImageNet DNNs with fooling images​

      ImageNet 分1000个类，每个类1300副，增加一个类，并没有像在MNIST一样，这次是增加了9000副图片，是每个类的7倍。目的是突出fooling images ，类似于ImageNet 中猫和狗。结果：效果比MNIST上的要好。​

   3.9. Producing fooling images via gradient ascent

      用另外一种方式处理图像，在像素空间运用梯度上升法（using gradient ascent in pixel space）。测试结果：the images are also classified by DNNs with 99.9%​

5. Conclusion

     1、解释结论以及相关的讨论                                                                                     

     2、Why evolution produced high-confidence,yet unrecognizable images? Result:判别模型（p(y|X)）and 生成模型(p(y,X))的不同                                                          

     3、这种容易被欺骗的特点有什么作用？例如，一个基于人脸或语音识别的摄像头容易被攻破。用白噪声处理脸部、指纹或声音然后传递可能是不安全的，因为附近其他人可能不知道有人企图破坏系统。