ZFNet 深度学习笔记

1.ZFnet简介

• 理论来源：Matthew D. Zeiler和Rob Fergus的Visualizing and Understanding Convolutional Networks论文，主要介绍CNN的每一层的特征学习，并通过可视化进行调整网络，提高精度
• ZFNet是2013年ImageNet图像分类竞赛冠军
• ZFNet的网络结构：在AlexNet的基础上进行了修改，将第一层的卷积核变成了7x7，调整步长为2，并在之后的卷积层也进行了不同的调整

  简而言之，卷积网络训练时，记录最大值的池化位置，反池化就可以直接填写该最大值，其余位置填0；反卷积过程也采用relu激活；对于卷积滤波过程则使用原卷积核的转秩与特征图进行运算。通过上述三个技术要点就可以完成反卷积操作，可视化效果如下图所示，当然ZF-Net通过可视化的研究，修正了Alex-Net的一些问题，最终形成了自己的模型。

ZF-Net结构

论文的4.1章节就描述了Alex-Net的一些不足之处，例如作者对Alex-Net进行可视化后，发现第一层CNN混合了高层与底层信息，但是中层信息没有收敛。以及第二层CNN由卷积核步长为4而导致的失真等，两个网络的可视化比较如下图。

ZF-Net从架构上整体使用2步长，且第一层修改为7x7大小的卷积核。通过可视化的实验，作者还得出了一些结论，例如CNN浅层主要学习图像中的物体轮廓、边缘、纹理等特征，深层主要学习物体的相关性特征，例如处于同一类标签的图像，深层特征图就会极为相似，具体ZF-Net的结构如下图所示。

有趣的是，作者还做了遮挡性实验，即对下图中狗的不同部位进行遮挡，然后通过Hamming distance 来判断原图和遮挡后图的相似性。结果证明关键部位的遮挡对图像的识别性能有决定性作用。