从经典论文《Intriguising properties of neural network》中总结文献阅读思路

 

前言

研究生期间学习对抗样本相关内容有一定时间了，写下这篇文章一方面为了回顾这篇对抗样本研究的开山之作《Intriguising properties of neural network》，另一方面为了总结自己阅读文献的思路，并作为经验分享。

Question：首先，要阅读论文，就要先理解论文存在的意义是什么？
Answer：就我个人理解而言，论文就是一篇报告，向全社会描述一个课题的背景，论文作者对该课题的研究成果（可以是一些创新的方法、技术、理论分析，或具有实用价值的应用实现），并提供相应的实验、分析对这些成果进行验证。

因此，阅读一篇文献，就是为了弄清楚以下几个问题：

• 这篇论文的课题背景是什么？
  课题背景包括该课题涉及的领域是什么，该课题要解决的是什么问题，该课题解决这些问题有什么重要的意义和作用。这些问题能在论文的“摘要”、“相关工作”、“讨论”、“总结（结束语）”中找到答案。
• 该课题的研究现状如何？
  了解清楚课题的研究现状一方面可以帮助我们对课题有个框架性的认识和把握，对改进方法的构思有所依据；另一方面可以顺藤摸瓜寻找该课题的相关论文，避免盲目地在SCI HUB上搜索关键字海选。研究现状在“前言”、“介绍”、“相关工作”一般都会进行系统性的梳理。
• 这篇论文有什么学术贡献（方法、概念、技术、理论）？它们是怎么验证的？
  这是整篇论文的核心和干货，一般在论文的中间一个或多个章节顺序阐述，关于这些部分的所有内容，都必须完全理解才算读懂一篇论文。该部分最复杂的莫过于符号的理解和公式推导，一定不能因为繁琐复杂而放弃或草草了事。完成了这部分的梳理，就能对整篇论文信手拈来。加油！
• 这篇论文进行了哪些实验？验证了什么？结论是什么？
  这部分的内容同样不能放过，通过整理这些问题的答案，我们至少能有以下收获：
  （1）了解优秀论文的实验方法，这可以帮助我们衡量自身的科研实力（判断自己是否能完成相同的实验，或者类似实验，或者更轻量的实验，再或者改进的实验）
  （2）了解该论文的学术成果的实际指标（可以了解该课题一般使用什么指标来衡量成果的优劣，该指标下，现有研究的程度是多少）。
  （3）该文作者是怎么总结、分析这些实验结果数据的。
  （4）该文作者是怎么行文，组织论文实验部分的结构。

接着，可以开始带着上述问题从该论文中寻找答案了！

一、阅读摘要（Abstract）

通过阅读摘要，我们可以快速了解两个最关键的信息：
（1）该论文做了什么？
（2）该论文是否是我们想要的？如果不是，出门左转~

摘要部分一般由以下三个部分组成：
（1）课题背景及存在的问题
（2）该论文的学术贡献
（3）该论文进行了什么实验，以及根据实验结果得出的结论

通过阅读摘要，分别回答上述三个问题：
（1）深度学习很重要，真的很重要，但它的一些性质我们人类还不清楚。
（2）该论文报告了神经网络中两个反直觉的性质：
    （a）神经网络包含语义信息的是局部空间，而非单个高级单元。
    （b）非线性可分的数据集训练的深度神经网络，会对某种带扰动的样本误分类（这种样本就是对抗样本）；而且对抗样本可能对执行相同任务的不同神经网络都具有误分类的效果（这种性质称为“可转移性”）。
（3）摘要中只提及该论文进行了单元分析，验证了性质（a）；这意味着其他实验及分析需要在后文寻找。

二、阅读介绍（Introduction）

这部分内容含有很多冗余信息，不需要逐句理解，只需要对一些关键词句进行琢磨。以下梳理该部分中有用的信息：

（1）以前的工作通过观测输入对各个神经元的激活情况来分析神经网络各个单元的语义，该方式表明各个神经元的激活情况不同，神经网络的输出就不同。而本文却发现，神经网络的输出与单个神经元的关联性不强，而影响神经网络输出的是整个神经网络的激活空间（这与性质（a）的表述是一致的）。

（2）理想情况下，一个训练良好的神经网络对一个带有小扰动的样本执行的预测应该是鲁棒的，但是本文发现，通过最大化神经网络的预测误差，能够生成一种特定的小扰动样本，它能导致神经网络预测出错（这与性质（b）是一致的，且言外之意是，这篇文章实现了这样一种生成扰动的方法，这在摘要中没有提及，但也是该文的主要贡献之一）。

（3）这篇论文把上述的小扰动样本命名为”对抗样本“。

（4）作者发现，这种对抗样本具有鲁棒性，它在不同模型结构、不同训练集、不同训练算法训练出的神经网络中，都具有误分类的能力，这称为对抗样本的”可转移性“。

总结：
使用反向传播的深度神经网络，其语义信息被包含在神经网络的空间上，且存在盲点，可能存在对抗样本使其执行错误预测，而且这些盲点的分布与训练集的分布之间的联系尚未可知。

三、相关工作

该论文没有相关工作部分，课题相关研究的脉络包含在Introduction部分，因此以下从Introduction部分中梳理出相关工作，以分享我自己整理相关工作的方法：

（1）文献 [8，9]：表明深度神经网络取得的成就。
（2）文献 [6，13，7]：描述了神经网络的单元分析方法。
（3）文献 [12]：表明单词向量空间的方向中隐含着丰富的语义编码，这可以验证本文的语义空间性。

四、论文框架

该部分描述了文章的实验结构和一些符号定义。

（1）符号定义

• ：表示样本x，属于m维向量空间R。
• ：表示某些层的激活值，该论文通过检查这些激活值，来寻找神经网络的盲点。
• FC：全连神经网络。
• AE：自编码器。
• AlexNet：该论文使用AlexNet模型来进行ImageNet数据集上的实验。
• QuocNet：该使用QuocNet模型来进行Youtube数据集上的实验。
• ：权重衰减参数，用来防止模型过拟合。
• P1 & P2：MNIST数据集上的实验通过切分P1、P2两个不相交子集来完成。

（2）实验结构

通过该部分，我们可以看到作者至少做了四个实验：单元分析、MNIST分类、ImageNet分类、Youtube分类。

五、单元分析

（1）现有的单元分析方法

其中一种单元分析技术是“图像的视觉检测”，该方法的公式表述如下：

其中，x'是生成的样本，x是源样本，是某个样本分布，是某些层上的激活单元，是与这些激活单元相关联的输入特征组合的基向量。argmax()表示通过最大化源样本中这些基向量包含的特征值生成的新样本，这些新样本输入神经网络后，这些基向量相关联的神经元将呈激活状态。

例如，某些中间层的激活单元用于感知数字的下弧特征，而这些激活单元与某些特征相关联，通过最大化样本的这些关联特征，将生成以下这些新样本（0、5、6都具有下弧的特征）：

上述方法明确地改变了与激活单元关联性高的特征组合，这些特征组合称为“自然基”。

（2）本文的单元分析方法

本文不改变自然基的特征值，而是通过特定的随机方向改变任意特征组合，同样达到了相同的效果，公式和结果如下两图所示：

其中，表示随机方向。这种随机方向改变的特征组合称为“随机基”。

因此，作者表示，自然基能有效检验神经网络的激活情况，随机基同样可以，因此作者推测语义信息可能不是包含在单个单元或多个单元的线性组合种，而是包含在整个激活空间中。

六、神经网络中的盲点

通常来说，深度神经网络通过非线性层的堆叠来对训练集的非线性概率分布进行编码，这意味着在离某个训练样本足够近的区域内的样本，其预测的分类结果应该是高度相似的，微小的扰动不会改变预测类别。但本文能找到对抗样本，与上述现象相悖。

然而，这种对抗样本不能通过简单的抽样和添加噪声来获得。本文提出了一种方案，从模型的训练分布数据点附近寻找对抗样本。

（1）原问题的形式化描述

定义一个神经网络的映射为，带m维特征的训练样本集为，其中样本x属于，标签集为。

寻找对抗样本的方案表述为一个优化问题，目标是最小化扰动r的2范数，并且满足以下条件：
 

该条件中，源样本 x 添加一个扰动 r 后，输入到神经网络映射为一个标签值 l ，该标签值与源样本 x 的真实标签值不相同；且 x+r 的所有特征值都在0~1的范围内，这确保了添加扰动后的对抗样本的特征值是有效的（因为深度学习通常把特征做标准化处理，转化为0~1之间的值）。

（2）将困难的原问题转化为简单的优化问题。

针对（1）中的原问题描述，作者使用如下简单的 “盒约束 L-BFGS” 公式来逼近原优化问题。

上式给出了求解对抗扰动的计算公式，论文阅读至此已经具备了完成实验的基本条件了。

（3）作者总结了以下几部分实验

    （a）使用MNIST、QuocNet、AlexNet成功进行对抗样本生成，该实验验证了L-BFGS方法的有效性。

    （b）对抗样本的跨模型泛化（可转移性实验），该实验表明不同结构的神经网络模型对相同的对抗样本都存在误分类的现象，即对抗样本对不同模型是鲁棒的。

    （c）对抗样本的跨数据集泛化（可转移性实验），该实验表明不同数据集训练的神经网络模型对相同的对抗样本都存在误分类的现象，即对抗扰动在训练集上是鲁棒的。

    （d）使用对抗样本对神经网络进行进一步的训练（对抗训练实验），该实验表明对抗训练有助于提高神经网络的泛化能力，提高神经网络的准确度；且对抗训练+权重衰减对神经网络的提升比单独使用权重衰减或Dropout都更有效。

    （e）不稳定性的谱分析
由于神经网络每层输入依赖于上一层的输出，因此，某层的输出可以表示为：
 

因此，第k层上的输出的不稳定性可以用 Lipschitz 常数来表示，通过一系列推导，在ImageNet深度卷积网络中，不稳定性的上界在第一个卷积层中出现。这说明扰动从神经网络第一层就开始对神经网络造成影响，因此通过严格控制Lipschitz上界有助于提高模型的泛化能力和对对抗攻击的防御能力（但只是理论层面说明一种可能性，并没有给出具体做法）。

七、我的总结

通过上述论文阅读，可以对前言中的一些问题进行解答了：

• 这篇论文的课题背景是什么？
  神经网络中存在对抗样本的现象，但目前没有一种方法能生成对抗样本，而且对对抗样本也没有很好的解释。
• 该课题的研究现状如何？
  （1）缺少对抗样本研究
  （2）现有单元分析方法基于自然基进行研究，然而随机基同样是有效的，这对现有单元分析方法所解释的神经网络特性产生了质疑
• 这篇论文有什么学术贡献（方法、概念、技术、理论）？它们是怎么验证的？
  （1）提出了神经网络的两种特性（语义空间性、对抗样本），通过基于随机基的单元分析验证。
  （2）提出了对抗样本生成方法（L-BFGS），给出了相应的优化问题描述。
  （3）验证了对抗样本的鲁棒性（网络模型上、数据集上）。
  （4）验证了对抗训练的有效性。
• 这篇论文进行了哪些实验？验证了什么？结论是什么？
  （1）在MNIST、ImageNet、Youtube数据集上进行对抗样本生成实验，验证了L-BFGS方法的有效性。
  （2）进行了基于模型、基于数据集的可转移性验证实验，验证了对抗样本具有鲁棒性、可转移性。
  （3）进行对抗训练实验，证明了对抗训练有效性且优于权重衰减和Dropout。
  （4）进行了单元分析实验，证明了随机基单元分析同样是有效的，进一步验证了神经网络的语义空间性。
  （5）进行不稳定性的谱分析推导，从理论上说明约束Lipschitz常数有助于提高模型泛化能力，缓解对抗样本的问题；并验证了对抗样本的影响从神经网络的第一层就开始了，进一步验证了神经网络中盲点的存在。