ZFNet
作者：Matthew D. Zeiler and Rob Fergus
单位：New York University
时间：ECCV，ILSVRC 2013冠军
摘要
大型卷积网络模型最近在 ImageNet 基准测试上表现出了良好的分类性能 Krizhevsky 等（alexnet）。然而，人们还没有明确的理解他们为什么表现如此之好，或者如何改进它们。在本文中，我们将探讨这两个问题。我们介绍了一种新的可视化技术，可以深入了解中间特征层的功能和分类器的操作。作为诊断的手段，这些可视化技术使我们能够找到优于Krizhevsky等人在ImageNet分类基准的模型架构。我们还进行了消融研究，以发现不同模型层的在模型性能上的贡献。我们的研究表明我们的 ImageNet 模型能很好地泛化到其他数据集：当 softmax 分类器被重新训练时，它击败了 Caltech-101 和Caltech-256 数据集上当前最先进的结果。
背景
AlexNet在ImageNet上取得了第一的成绩，并远超第二名，但对其内部操作和行为，以及他们如何实现如此良好的性能知之甚少。因此提出来一个可视化技术，采用多层反卷积网络，将特征激活投影回像素空间，并通过遮挡输入图片的部分来对分类器输出的灵敏度分析，从而发现图片的哪些部分对分类是重要的。
模型
上图是特征图可视化的全过程，左边为反卷积的过程，右边是卷积过程，整个过程有卷积层，激活函数层，以及最大池化层，由于最大池化时不可逆的，中间的Switch连接记录最大池化时的位置信息用来最大程度上复原图片，具体过程如图中下半部分所示。
实验&结果
训练完成后得到，整个训练过程中的特征图，每个特征图抽取前九张，然后通过上面提到的方法，将特征图映射到像素空间，即每张图的左边部分，右边是对应的原图中的块，其中特别的是第五层第一行第二列，找到的特征不是前景，而是背景中的草。
上图中a和c是Alexnet的第一层和第二层的特征图的可视化，发现第一层滤波器是极低频和极高频信息的混合，几乎没有涵盖中频信息，第二层的可视化由于使用大步幅引起混叠，为了解决这个问题，将第一层滤波器尺寸从11*11缩小到7*7，并且将卷积的步幅从4变为2，为了让后续feature map的尺寸保持一致，第2个卷积层的stride从1变为2，b和d为更改后得到特征图可视化第一、二层结果，第一层中的特征更丰富，第二层也没有混叠。
经过改进后的Alexnet通过多模型组合获得了14.8%的测试误差，提升了1.6%。未使用数据增强的结果。
上图每张图的每一列分别是训练 epoch[1,2,5,10,20,30,40,64]随机选择特征子集。可视化显示给定特征图的最强激活。每层的外观突然发生变化，是因为每层的最强激活的特征图不同引起的，可以看到模型较低的几层在几个epoch内就收敛了，而高层需要训练多轮后才有变化。
上图为通过遮掩图片的不同位置，来查看对图片分类的结果。第一列为掩盖部分图片的原图和真实标签，第二列为第五层最强激活的特征图，第三列为第二列对应的特征图可视化，第四列为遮盖不同位置对分类准确率的影响，第五列为遮盖不同位置对分类类别的影响。
可以看到第二、三行的最强激活特征图虽然为文本和人脸，但分类器的检测对轮胎和狗更敏感，第一列中遮住狗的脸之后准确率下降明显。这些示例清楚地表明模型能够定位场景中的对象。
上图为在ImageNet上预训练后进行迁移学习后的准确率曲线，发现仅需要每类训练十张图片就能达到60以上的准确率。
在上表中，通过移除网络的不同层，以及调整网络大小，发现删除全连接层或者删除中间卷积层会对误差产生较小的影响，但同时删除，性能会显著下降，改变全连接层的大小对性能几乎没有影响，增加中间卷积层大小可以提高性能，但会导致过拟合。因此可以猜测模型的整体深度对获取良好的性能至关重要。
上表为在网络后添加SVM和softmax分类器后在数据集上的准确率。证实了特征层次结构越深，学习的特征越好。
文章亮点
- 提出了特征图可视化的新方法
- 做了大量的消融实验，为后续的工作打下了基础
作者展望
文章中的卷积模型不太适合PASCAL数据集，因为PASCAL 图像可能包含多个对象，而文章模型为每个图像只提供独一无二的预测结果。如果使用允许每个图像有多个对象的不同损失函数，性能可能会提高，会使网络也能够解决对象检测问题。
814
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
