论文提要“Visualizing and Understanding Convolutional Networks”

主要内容：提出了一种深层网络中分析特征层功能及分类器运行原理的可视化技术，通过可视化可以寻找更优的网络模型。可视化技术可以揭示网络中激活每层特征图的输入刺激，同时可以观察到训练过程中每个特征的以便诊断模型中可能存在的问题。可视化技术使用多层反卷积网络将特征激活投影回输入像素空间。此外，通过遮挡图像的部分区域分析了分类器的敏感性，揭示了对分类比较重要的场景部位。

使用反卷积进行可视化
反卷积网络可认为是卷积模型使用相同的成分（滤波器，池化）进行反向操作。反卷积操作与convnet的每一层连接，提供了一条返回图像像素的完整通道。在检查某给定convnet的激活时，将该层其他的激活置零并将特征图链接到反卷积层作为输入。之后通过反池化，矫正，滤波重建该层之前层的激活。反卷积网络示意图如下所示：

反池化
卷积网络的max pooling是不可逆的，这里使用switches，通过记录每个池化区域的局部极大值位置实现。

Rectification
对每层进行特征重建，对重建的信号进行relu non-linearity。

滤波
反卷积网络使用的滤波器是卷积网络滤波器的转置，对rectified maps进行滤波，实际上是滤波器的水平或竖直翻转。

卷积层可视化
1.特征可视化
每层的投影显示了网络中特征的自然分层关系，第二层对应角点、边缘和颜色，第三层主要捕获相似的纹理信息，第四层显示更大的不同，可分辨出不同的类如狗脸，鸟腿，第五层显示了整个物体的姿态变化。下图显示了特征的演化过程，低层的模型收敛的比较快，高层的需要大约40-50个epochs收敛。

2.结构选择
Krizhevsky网络的第一和第二层卷积可视化后展现出一些问题，第一层是高频和低频信息的混合，有很少中频信息，第二层有由大步长（4）引起的混叠伪影。作者如下解决：1）第一层滤波器大小由11*11将到7*7，使用2作为步长，如下图（b）（d）所示，改进后的网络保留了更多的特征信息。

3.遮挡实验
当物体被遮挡时，对应的类概率显著降低。