论文Visualizing and Understanding Convolutional Networks

1 介绍
各个数据集上的表现有很大的提高有几方面的原因：有更多的有标签数据集，更强劲的Gpu，更好的学习策略，例如，dropout.
可是对于模型的内部操作和行为还是没有很深的理解，对于为什么达到这样的表现没有好的科学解释。我们将引进一个技术，可以解决这个问题。我们基于hiton2012的imagenet classification论文的结构，实现了一个变现更好的结构。之后我们在其他数据集上测试了这个结构的一般化，只是重新训练了顶层的softmax层，这是一种有监督的预训练，这里借鉴了Hinton和其他人的非监督预训练的方法。
1.1相关的工作
使用每一层的特征图，向后映射，而不是直接使用卷基层的到的特征图。
在每一个卷积层都加上了一个反卷积层。在卷积，Relu,Max-pooling之后，不仅输出给下一层作输入，也为反卷积提供输入。反卷积依次进行unpooling,Relu和反卷积。
Relu:直接使用Relu函数，仍然确保输出为非负数。
反卷积：利用相同的卷积核的转置作为核，与输入做卷积运算。
2方法
基于ImageNet classfied论文的模型，这个模型有许多层，每一层包括：前一层输出和卷积核进行卷积运算，Relu，最大池化以及local contrast operation.

为了检查给定的激活，我们将层间的激活都设置成零，然后将特征图作为输入传入到相连的反卷积层，经过反池化，反激活，反卷积，重复这个过程直到像素空间。
反池化：池化过程是不可逆转的，我们可以近似的反池化，记录下最大池化的位置，将值放入这个位置，其他都置为零。
反激活：仍使用relu激活函数保证特征图非负即可。
反卷积：使用转置的卷积核，做卷积运算。
3训练细节
4可视化
层数越高所提取的特征越抽象。底层会展示物体的边缘颜色等，高层就会体现类与类的差异。
经过一定次数额迭代以后，底层特征趋于稳定，但更高层需要更多次的迭代。
层数越低，很小的变化可以导致输出特种的变化，层数越高这种影响越小。
由于第一层的stride大会引起图像混叠，所以将filter窗口由11*11变成7*7stride由4变成2，这样第一层和第二层会有更好的特征学习，也提高了模型的分类表现。