卷积神经网络可视化和理解

最近在研究神经网络特征可视化的问题，想弄清楚deep learning之所以能够work这么好的原因。所以挑选了几篇相关的文章进行阅读，并把自已在阅读过程中的一些概要记录下来。

文章１：《Visualizing and Understanding convolutional networks》

目的 ##：

（１）理解网络为什么能够工作这么好；
（２）如何再次提升网络的性能；
（３）发现每层网络的performance contribution;

可视化神经网络存在的主要问题：

（１）绝大部分停留在第一个隐层的可视化；
（２）使用SGD进行maximizing activation 需要比较好的initialization，并且该方法对神经元学习到的特征的不变性没有进行很好的说明；
（３）作者解决问题的思路：non-parametric view of invariance, showing which patterns from training set activate the feature map；是一种top-down的方法，针对于单个feature map的分析。

作者主要工作：

（１）构建了一个可视化技术（也就是多层的deconvolutional networks: deconvnet），能够发现什么样的输入能够激活feature map，该方法对任意层的feature map都适用。
（２）能够观察在训练过程中，学到的特征演变情况。
（３）敏感性分析：通过遮挡图像的不同部分，看图像中哪部分对classification重要。

用deconvnet进行可视化：

原理：将指定的feature map映射到输入的像素空间，这样就能看到什么样的input pattern 能够导致这样的activation。
【注：】在文章《Adaptive deconvolutional networks for mid and high level feature learning》中，deconvnet是用来进行无监督学习的，相当于重构。而在这里，deconvnet不是用来重构的，只是作为一种探针来查看已经训练好的convnet网络各层学到了什么特征。
Deconvnet: 将feature activations 反映射到输入空间input pixel space。
deconvnet的一些要点：
（１）unpooling：即近似的inverse of pooling。池化区域最大值的位置。

（２）Filtering：为了实现反卷积，deconvnet中的filter用的是transposed version of same filter【也就是对convnet中的filter进行水平和垂直翻转】。
【注：】
a. 在deconvnet中，没有用到任何contrast normalization操作。
b. deconvent中的这种反向映射所得到的结果并不是一个sample，因为convnet-deconvnet本身不是一个generative process。
可视化的整个过程：
一开始，输入图像被送入convnet，并计算各层feature maps的activation。然后，对于convnet中指定层中的feature map，把该层中其余的feature maps的activations全部置零，之后，将该层所有的feature maps作为输入，传递到随后的deconvnet网络中。经过随后的unpool，rectify，filter的处理，一直计算到输入图像的像素空间即可。

上述图片是作者用验证集中的一些样本对已经训练好的convnet网络可视化的结果。

作者提出的deconvnet可视化方法存在的缺点：

只能可视化单个feature map，而不能可视化该层中联合的feature maps【joint activity】

可视化过程中作者发现的一些结论：
（１）模型的较低层在较少的epoch迭代后就开始收敛了；
（２）模型的较高层需要较大的epoch迭代后才收敛；

作者训练convnet时的一些细节和技巧：

resizing to 256;
croping the center 256 x 256;
去均值；
使用１０类sub-crops (corners + center + 水平翻转)
【SGD, 动量，模拟退火更新学习率，dropout，所有权重被初始化到0.01，　所有的biases都设置为０】
作者特别指出了一个技巧：
当输入图像的值的范围在[-128, 128]时，对网络的第一层filters进行了可视化，发现其中一些filter始终处于优势突出地位，为了解决这个问题，作者对第一层的filter进行了normalize处理，对那些RMS 超出固定范围的filter，将其归一化到固定的RMS。

文章中用到的convnet网络结构：

deconvnet结构模块