Visualizing and Understanding Convolutional Networks翻译总结

原创 2016年08月31日 09:35:52

Zfnet

论文:《Visualizing and Understanding Convolutional Networks》

1.     概述

这篇论文主要的贡献是将卷及神经网络的隐藏层的特征进行可视化,后面通过可视化的展示来分析如何构建更好的网络结构。最后还描述了该网络中的每层对整体分类性能的贡献,还对了该模型在其他数据集上取得的成绩:仅仅是对softmax分类器重新训练,该模型击败了Caltech-101和Caltech-256测试集的历史最好的成绩。

论文主要是参考了Alexnet网络模型,通过改变该模型的一些参数(核大小、步长等),选出了分类效果最好的结构作为最终的模型,然后仅仅重新训练模型末端的softmax分类器,评估该模型在其他数据集上的分类效果。其最有用的还是将特征数据进行可视化了。

2.     可视化过程

之前的Alexnet网络中每一个卷积层的操作有如下四个步骤:

1.      卷积运算

2.      矫正运算(ReLU函数)

3.      池化运算

4.      归一化运算

     论文将中间层特征反向映射到像素空间中,观察得到什么输入会导致特定的输出,可视化过程是基于反卷积网络实现的,如图1所示就是其网络结构。反卷积网络可以看成卷积网络的逆过程,其卷积核是卷积网的卷积核的转置它们拥有相同的卷积核和pooling函数(准确来说是逆函数),因此反卷积网就是将输出特征逆映射成输入信号。

首先,输入图像通过卷积网模型,每一层都会产生特定的特征。然后将反卷积网中观测层的其他链接权值全部置零,将卷积网观测层产生的特征当作输入,输入到对应的反卷积层,依次进行以下操作:

1) Unpooling;

2) 矫正;

3) 反卷积;

UNpooling

在卷积网中,池化操作是不可逆的,论文中用了一种近似的方法来计算max pooling的逆过程。在池化的过程中,用maxlocations“switch”表格记录下每一个块的最大值的位置,在unpooling过程中这里将最大值标注回记录所在位置,其余位置设置为0。

矫正

在卷积网络中,为保证特征有效性,论文通过relu非线性函数来保证所有输出都为非负数,这个约束对反卷积过程依然成立,因此将重构信号送入reluc函数中。

反卷积

卷积网使用学习得到的卷积核与上层输出做卷积,得到特征。为了实现逆过程,反卷积网使用相同的卷积核的转置作为核,与矫正后的特征进行卷积运算。


图1 特征数据可视化结构

3.     卷积网可视化

特征可视化

如图2所示是训练结束后,模型各个隐藏层提取的特征,图所示的是给定输出特征时,反卷积产生的最强的9个输入特征。将这些计算所得的特征,用像素空间表示后,可以清晰地看出:一组特定的输入特征(通过重构获得),将刺激卷积网产生一个固定的输出特征。图2的右边是对应的输入图片,和重构特征相比,输入图片和其之间的差异性很大,而重构特征只包含那些具有判别能力的纹理结构。例如,第5层第1行第2列的9张输入图片各不相同差异很大,而对应的重构输入特征则都显示了背景中的草地,没有显示五花八门的前景。

每一层的可视化结果都展示了网络的层次化特点。第2层展示了物体的边缘和轮廓,以及与颜色的组合,第3层拥有了更复杂的不变性,主要展示了相似的纹理,第4层不同组重构特征存在着重大差异性,开始体现了类与类之间的差异,第5层每组图片都展示了存在重大差异的一类物体。


图2 特征可视化

特征不变性

图3所示,5个不同的例子,它们分别被平移、旋转和缩放。图5右边显示了不同层特征向量所具有的不变性能力。在第一层,很小的微变都会导致输出特征变化明显,但是越往高层走,平移和尺度变化对最终结果的影响越小。卷积网无法对旋转操作产生不变性,除非物体具有很强的对称性。


图3

4.     网络结构

论文主要是参考Alexnet网络进行了一些参数的调整,其中用到的方法几乎是一样的,所以这里就不再详细描述。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

“看懂”卷积神经网(Visualizing and Understanding Convolutional Networks)

在所有深度网络中,卷积神经网和图像处理最为密切相关,卷积网在很多图片分类竞赛中都取得了很好的效果,但很多人都不了解卷积网取得良好成绩的原因。为此,卷积神经网的发明者Yann LeCun的得意门生Mat...
  • kklots
  • kklots
  • 2013-12-06 18:15
  • 15697

Visualizing and Understanding Convolutional Networks

Matthew D. Zeiler,Rob Fergus. Visualizing and Understanding Convolutional Networks.CVPR2014.论文下载 推荐一...

深度学习(二十七)可视化理解卷积神经网络

本篇博文主要讲解2014年ECCV上的一篇经典文献:《Visualizing and Understanding Convolutional Networks》,可以说是CNN领域可视化理解的开山之作...
  • hjimce
  • hjimce
  • 2016-01-19 19:30
  • 19346

Visualizing and Understanding convolutional networks

Large convolutional networks model  Why they perform so well? How they migh be improved?

CNN入门必读经典:Visualizing and Understanding Convolutional Networks

本文主要是借助deconvnet来可视化卷积网络,这对于理解卷积网络还是非常重要的,同时本文又是13年ImageNet分类任务的冠军。 代码: https://github.com/guruucs...

Visualizing and Understanding Convolutional Networks(精读)

一.文献名字和作者      Visualizing and Understanding Convolutional Networks, ECCV2014     二.阅读时间    ...

[深度学习]Visualizing and Understanding Convolutional Networks阅读笔记

现在我需要用到深度学习做图像分类的任务,虽然之前对CNN有过一定的了解,但我还是第一次真正使用它来解决问题,相关论文看的也比较少,最近恶补了一下近几年比较有名的关于深度学习的论文,写到博客上总结一下,...

Visualizing and Understanding Convolutional Networks笔记

Contents 反卷积 结构选取 遮挡敏感性 图片内特征相关性分析 实验 本文为20141024周报。 在所有深度网络中,卷积神经网和图像处理最为密切相关,卷积网络在很多图片分类竞赛中都取...

Div+CSS布局入门教程

作者:aultoale 时间: 2006-06-10 文档类型:原创 来自:蓝色理想

dodo:人脸识别方法个人见解

http://blog.sina.com.cn/s/blog_4d92192101008en6.html (此贴最开始于 2007-6-23 19:50 发表在 prfans...
  • kklots
  • kklots
  • 2013-06-16 22:04
  • 1392
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)