【Imagenet LSVRC系列模型】Zenet-2013 Visualizing and Understanding Convolutional Networks

Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]//European conference on computer vision. Springer, Cham, 2014: 818-833.

2013年ImageNet 图像分类。

大量的CNN模型在ImageNet图像分类任务中取得了优秀的效果，但是人们对于为何CNN有如此神奇的效果以及如何进一步提升它的效果却并不明了。此文正是聚焦于这两点。

主要内容包括：

（1）特征可视化：提出了基于反卷积的可视化技术，深入探究CNN的中间层以及分类操作。发现，低层特征为边缘、色彩等简单特征，高层特征为部件等复杂特征。

（2）模型选择与提升：通过利用可视化观察Alexnet的中间层结果，发现其中不足（缺乏中频信息），并进行改进（减小卷积核与步长），得到了在ImageNet上效果更好的模型—Zenet。

（3）训练过程中特征变化跟踪：基于可视化，跟踪学习过程中各层特征变化。结果发现，低层特征较容易收敛，而高层特征需要充分迭代后才能收敛。

（4）CNN模型对图像变换的鲁棒性：发现，模型对轻微的平移、缩放具有鲁棒性，而对于非中心对称图像的旋转变换敏感。

（5）特征泛化性：在A数据集上训练得到的模型，固定除Softmax层外的其他层参数不变，在B数据集上重新训Softmax层参数，发现模型依然有一定的分类效果，因此CNN特征具有一定的泛化性。但A与B差异性较大时，分类效果并不好。