【论文阅读笔记】Visualizing and Understanding Convolutional Networks

本文是发表在ECCV2014年的论文，主要贡献如下：

1、提出一种可视化CNN隐层特征的方法，通过引入一个和CNN计算过程相逆的decovnet来实现。其中convolution ,RELU操作和CNN一直，max-pooling由于运算不可逆，在CNN中引入了switch变量记录max-pooling中每一步的最大值，在un-pooling时在最大值位置用原最大值填充，其他位置用0填充。

        

2、文章对特征可视化得出以下结论：

(1) 底层特征在迭代次数比较少时就能收敛，高层需要的迭代次数比较多；(2)CNN学习到的特征对于图片平移和缩放具有不变性，但是对于旋转没有不变性。(3)高层提取到的特征更加宏观和具有更多的不变性。(4)深层网络比浅层网络识别效果更好

3.可视化指导网络结构调整

通过对CNN可视化发现，第一层特征只对于高频和低频信息有了收敛，但是对于中层信息却还没有收敛，在第二层出现了混叠失真，通过将第一层filter size和stride减小解决了问题，体现出可视化对网络结构设计的指导性作用。

 

4、对图片部分遮挡的敏感性

文中使用灰色矩形区域遮挡图片部分位置，分析发现如果遮挡部分涉及图片主要特征响应部分，CNN效果会很差。

5、关联分析

作者认为深度结构隐形地学习到不同图像中一些特定结构的关联性，如人脸的眼睛和鼻子，通过遮挡不同图像的相同结构，然后计算学习的特征与没有遮挡之前学习到的特征之间的差，然后这些差的Hamming距离Δ，当Δ越小时，说明了网络还是学习到了一定的结构关联性。