ZFNet

原文链接
参考翻译
视频

ZFNet 由于以11.7%的错误率摘得2013ImageNet竞赛冠军而名声大噪，本篇论文就是讲述作者对网络可视化的相关研究成果，主要目的在于：思考为什么类似AlexNet的网络性能这么好？如何继续提升他们的性能

论文具体内容这里不再赘述，参考原文和翻译（链接都已给出）即可，这里介绍一下论文中的几个关键内容。

1. 网络结构

ZFNet 的结构是基于 AlexNet 的改良，基本结构仍然是：输入层 + 一系列隐含层（卷积/激活/池化/对比度归一化）+ 全连接 + softmax。

2. 可视化

文章中对网络的可视化主要靠三个操作：

• 反池化（Unpooling）：记录局部池化最大位置，反池化时进行对应位置填充
• 修正（Rectification）：ReLU
• 滤波（Filtering）：对原滤波器进行转置

3. 特征可视化

这里呈现的是，训练结束后的模型，在给定特征图下，每层的9个最强激活特征（top 9 strongest activations for a given feature map），及其对应的原图对应区域。

4. 技术应用

作者通过可视化工具，对特征演进、特征不变性、模型改良、遮挡敏感性、特征一致性等等多个方面做了分析。比如，对高层特征来说，其具有平移不变性、放缩不变性，而不具备旋转不变性；通过特征演化发现高层特征比低层特征收敛得慢得多；遮挡关键物体时响应强度急剧下降；更多内容请参见原文。

5. 特征泛化能力
文章中使用了有监督预训练方法，来测试模型下提取特征的泛化能力。从下面的结果图可以看到，这种预训练方法极大地提高了分类器性能，从而印证了提取的特征具有较强的泛化能力。

原文中有更加丰富的研究和细节，受限于时间和能力问题，这里不再介绍

最后，推荐一个以手写数字为例的神经网络3D可视化网页