Visualizing and Understanding Convolutional Networks

大的卷积网络模型表现出了比较好的分类效果。然而有两个问题：一，为什么大的卷积网络表现好。二，卷积网络还可以怎样进行改善。这篇文章针对这两个问题，引入一种可视化技术，洞察中间特征层的作用和分类器的操作。

推动卷积神经网络发张主要有三个因素：1.更大的训练集，数百万标签样本能够被利用起来。2.GPU的性能得到了提升。3.更好的模型规范化策略的发展，比如dropout。虽然取得了比较好的进展，但是如果不了解怎样和为什么有效，更好的模型的发展就会成为一个尝试——失败的过程。本文提出一种可视化技术，利用多层反卷积将特征激活投影回输入的像素空间。我们也通过对输入图片部分遮挡对分类器输出进行敏感性分析，揭示场景中哪些部分对分类重要。

1.方法：

本文使用的是一个标准的卷积网络模型，将2D的输入图片x通过一系列的卷积层映射到一个包含C个类别的1D概率向量。每一层的组成：1.（除了第一层和最后一层）一些卷积核对上一层的输出进行卷积操作 2.通过修正线性单元传递相应 3.【可选】在局部领域内进行最大池化  4.【可选】局部对照操作归一化特征映射。 前面的层是利用的全卷机网络，最后一层使用的是softmax分类器。

利用反卷积进行可视化

反卷积模型可以被认为是一个卷积模型使用相同成分（滤波器和池化）的相反的操作，将特征激活投影回像素空间。想要观察卷积的结果，只需在对应的层后面加一个反卷积网络。

反池化：卷积中，最大池化的操作是不可逆的。我们可以通过记录一些列可变参数来记录每个池化区域最大值的位置来近似求解。

如下图所示，当使用步长为3进行最大池化操作时，记录最大激活的位置(-1,-1),在反卷积进行池化进行相反的操作时在（-1，-1）位置上填充最大激活特征，其余位置进行补0 操作即可。

修正：卷积网络使用relu非线性激活修正特征映射，保证特征映射总是正数。保证重构的过程中，也用relu进行激活保证是正数。卷积和反卷积的非线性激活没有什么区别。

滤波：反向滤波的过程中，和卷积核的参数是一样的，只是把参数的水平位置和垂直位置对调了。

特征图的可视化展示了前9个特征激活

从上图特征图的可视化当中也可以看出，layer1,layer2主要学习到的是颜色，边缘和轮廓信息,layer3学习到的特征开始复杂，学习到了纹理信息,layer4学习到了和类别有关的比较重要的不同,layer5学习到了完整的，具有判别性关键作用的特征。网络越深，学习到的特征越具有判别性。

2.卷积网络可视化

文章通过实验证明了网络输出对变换和缩放具有稳定性。通常对选择除了旋转堆成物体，具有不变性。更高的层通常产生更多的判别特征。

2.1.网络结构的选择

通过可视化操作发现第一层的信息是高频信息和低频信息的混合，覆盖很少地中频信息。使用步长为4的卷积核造成更大的artifacts.为了解决这个问题，(1)减小第一层11x11的卷积核到7x7,(2)减小步长为2.新的结构保留了第一层和第二层更多的信息。更重要的是提高了分类的性能。

2.2.遮挡敏感性

通过遮挡不同的位置，正确类别的准确度都下降了。分类结果对局部的特征高度敏感，不仅仅是依靠整体的上下文环境。

2.3.对应分析

不同于存在的识别方法，深度模型没有建立不同图片不同部分之间的对应关系，它通过隐式计算求解对应关系。

通过表格中的数据也可以发现，第五层的特征显示模型确实建立了一定程度的对应关系。