ZFNet论文总结思考

论文简述

本文主要通过反卷积（DeConvNet）实现对卷积网络的可视化，理解网络中特征层的函数以及分类器操作，从而实现对网络的优化；本文实现了对AlexNet网络的可视化，并对其进行优化，使分类结果提升。此外，还通过遮挡部分输入图像，进行分类器的敏感性测试，指出对分类产生重要影响的图像部分。

---

参考文献

• Zeiler, M., Taylor, G., and Fergus, R. Adaptive deconvolutional networks for mid and high level feature learning. In ICCV, 2011 —deconvnet网络
• Krizhevsky, A., Sutskever, I., and Hinton, G.E. Imagenet classification with deep convolutional neural networks. In NIPS, 2012 —AlexNet网络

---

论文要点

反卷积可视化

反卷积网络仍可理解为一种卷积网络模型，因为其使用同样的操作（如过滤，池化等），但与 常见的网络将图像像素映射为特征 相反，其将特征映射至输入像素。与 deconvnet那篇论文（Adaptive deconvolutional networks for mid and high level feature learning）中不同的是，此处不将其用于无监督学习，而是将训练好的convnet展现到输入像素空间中。

图中，左侧为deconvnet层，右侧为convnet层，两者相关联，通过deconvnet将近似重构convnet的低层特征。下侧为反池化操作。
如上图所示，待检测卷积网络的每层均与反卷积网络相关联，使得反卷积最终能映射至图像像素层。过程：将特征图做为相关联的deconvnet的输入，然后经过(i)反池化(ii)校正(iii)过滤，从而重构低层特征。

反池化

卷积网络中的最大池化是不可逆的操作，但我们可以通过记录每个池化区域中最大值的位置，构成switch变量。再在反卷积网络中利用swicth变量，将最大池化值放置到原位置，其余位置填0。

校正

通过校正，确保每层重构的特征图均为正值，与卷积网络中的作用一致。

过滤

反卷积过程中的过滤器是卷积过程中过滤器的转置，相当于将该过滤器进行了水平和垂直上的翻转。

可视化结果

可视化结果包含两部分：左侧为重构后可视化结果，只关注每块图像中的判别结构，右侧为相应的图片块， 图像间具有更多的变化。（如第五层，一行，二列，图像块看起来很杂乱，但从可视化结果可以看出特征图的关注点在背景的草坪）。此外，每个特征图都选取了最优的9个激活。

• 给定特征图可映射至多个像素空间，显示其对输入变形的不变形。
• 各层的映射显示了网络中特征的层次性。
  
• 训练时的特征演变：低层特征在数次迭代后趋于收敛，而高层特征则需一定数量级的迭代才能有所提升。（逐层优化）
  
• 特征不变形：对于平移和缩放，较小的变形会对第一层特征产生显著的影响，但对高层特征，呈现出拟线性特征，具有较好的鲁棒性。但网络对旋转特征不具有不变性。

结构选择

AlexNet网络中

• 第一层滤波器是极高频和低频信息的混合，中频覆盖率低。（要么就是灰色，要么就是波纹，较少中频信息，对比结构选择前后的图像，效果比较明显）
• 第二层产生混叠伪影（沿图像中心向外呈辐射状，并具有锯齿特点的伪影，源于采样不合理导致的频谱混叠。）

遮挡实验

• 网络模型会定位场景中的物体，且可视化结果反应了激活特征图的图像结构。
• 遮挡实验的思路很好，类似于控制变量，可以更加清楚的看清问题

对应关系分析

• 计算遮罩操作所带来的不同图像的变化的汉明距离之和，较低的值表示遮罩操作导致的变化更为一致，因此不同图像中相同对象部分之间的对应关系更紧密。
• 实验表明网络隐含的学习了不同图像的特定物体间的对应关系（如脸上应该有眼睛和鼻子等）

泛化能力

• 只重新训练最顶端的分类器层（模型迁移）
• 改变模型参数，实现多模型融合

思考

本文提供了实用的实验测试方法，如遮挡实验。还全面的讲述了由反卷积带来的可视化效果，并验证可视化的可行性，以及可视化能够实现的验证和优化。很值得深思的一篇论文。