Visualizing and Understanding Convolutional Networks笔记

Visualizing and Understanding Convolutional Networks笔记
论文原文
https://arxiv.org/abs/1311.2901

Pytorch实现
https://github.com/huybery/VisualizingCNN

神经网络有效的原因：1、大规模数据集 2、GPU提高大量的算力 3、Dropout正则化方法

论文提出可视化方法，可视化中间层feature map的输出，训练过程中学习到的特征，使用反卷积的方式（Deconvolutionnal Network),将feature map映射为输入图像的空间，论文还对图像进行了局部遮挡 敏感性分析，观察图像哪些部分对神经网络分类至关重要。改进了AlexNet，提出了超过它性能的模型。

网络中可训练的参数：卷积核权重、全链连接层的权重
模型提出的方法：反卷积，是正向卷积的逆过程，
首先，将图像喂到网络中训练，得到网络参数，将指定某一层的某个feature map以外全部设置喂0，然后把这个feature map 反向输入像素空间中，然后进行
1 反池化（unpool）
2再激活（rectify）
3转置卷积
直到恢复原始像素空间

特征可视化

底层网络识别底层边缘特征

高层特征

论文重构不是来自模型的样本:它们是来自引起的验证集的重构模式
给定功能图中的高激活度。对于每个feature map，论文也给出了相应的图像patch。注意:
(i)每个地形图内部的强分组，(ii)更高层次的不变性更大，(iii)的放大
图像中有辨别能力的部分，如狗的眼睛和鼻子(第4层，第1排，第1栏)。以电子形式观看效果最佳。

局部遮挡敏感性

灰色挡板挡住一部分的时候，时网络判别正确的概率

第一列图像正确的标签为博美犬，当灰色挡板挡住狗脸的时候，网络判别的准确率瞬速降低。
第二列图像正确的标签为车轮，当灰色挡板挡住车轮的时候，网络判别的准确率瞬速降低。

第三列，识别阿富汗猎犬时，最大feature map提取到人脸特征的原因：分类器使用了多个feature map即提取了人脸特征，又提取了狗脸特征，最终分类结果为阿富汗猎犬，而ImageNet数据集中，并没有人这个类别的标签，所以网络判别概率为阿富汗猎犬。