关闭

Visualizing and Understanding Convolutional Networks翻译总结

标签: zfnet网络论文总结
2350人阅读 评论(0) 收藏 举报
分类:

Zfnet

论文:《Visualizing and Understanding Convolutional Networks》

1.     概述

这篇论文主要的贡献是将卷及神经网络的隐藏层的特征进行可视化,后面通过可视化的展示来分析如何构建更好的网络结构。最后还描述了该网络中的每层对整体分类性能的贡献,还对了该模型在其他数据集上取得的成绩:仅仅是对softmax分类器重新训练,该模型击败了Caltech-101和Caltech-256测试集的历史最好的成绩。

论文主要是参考了Alexnet网络模型,通过改变该模型的一些参数(核大小、步长等),选出了分类效果最好的结构作为最终的模型,然后仅仅重新训练模型末端的softmax分类器,评估该模型在其他数据集上的分类效果。其最有用的还是将特征数据进行可视化了。

2.     可视化过程

之前的Alexnet网络中每一个卷积层的操作有如下四个步骤:

1.      卷积运算

2.      矫正运算(ReLU函数)

3.      池化运算

4.      归一化运算

     论文将中间层特征反向映射到像素空间中,观察得到什么输入会导致特定的输出,可视化过程是基于反卷积网络实现的,如图1所示就是其网络结构。反卷积网络可以看成卷积网络的逆过程,其卷积核是卷积网的卷积核的转置它们拥有相同的卷积核和pooling函数(准确来说是逆函数),因此反卷积网就是将输出特征逆映射成输入信号。

首先,输入图像通过卷积网模型,每一层都会产生特定的特征。然后将反卷积网中观测层的其他链接权值全部置零,将卷积网观测层产生的特征当作输入,输入到对应的反卷积层,依次进行以下操作:

1) Unpooling;

2) 矫正;

3) 反卷积;

UNpooling

在卷积网中,池化操作是不可逆的,论文中用了一种近似的方法来计算max pooling的逆过程。在池化的过程中,用maxlocations“switch”表格记录下每一个块的最大值的位置,在unpooling过程中这里将最大值标注回记录所在位置,其余位置设置为0。

矫正

在卷积网络中,为保证特征有效性,论文通过relu非线性函数来保证所有输出都为非负数,这个约束对反卷积过程依然成立,因此将重构信号送入reluc函数中。

反卷积

卷积网使用学习得到的卷积核与上层输出做卷积,得到特征。为了实现逆过程,反卷积网使用相同的卷积核的转置作为核,与矫正后的特征进行卷积运算。


图1 特征数据可视化结构

3.     卷积网可视化

特征可视化

如图2所示是训练结束后,模型各个隐藏层提取的特征,图所示的是给定输出特征时,反卷积产生的最强的9个输入特征。将这些计算所得的特征,用像素空间表示后,可以清晰地看出:一组特定的输入特征(通过重构获得),将刺激卷积网产生一个固定的输出特征。图2的右边是对应的输入图片,和重构特征相比,输入图片和其之间的差异性很大,而重构特征只包含那些具有判别能力的纹理结构。例如,第5层第1行第2列的9张输入图片各不相同差异很大,而对应的重构输入特征则都显示了背景中的草地,没有显示五花八门的前景。

每一层的可视化结果都展示了网络的层次化特点。第2层展示了物体的边缘和轮廓,以及与颜色的组合,第3层拥有了更复杂的不变性,主要展示了相似的纹理,第4层不同组重构特征存在着重大差异性,开始体现了类与类之间的差异,第5层每组图片都展示了存在重大差异的一类物体。


图2 特征可视化

特征不变性

图3所示,5个不同的例子,它们分别被平移、旋转和缩放。图5右边显示了不同层特征向量所具有的不变性能力。在第一层,很小的微变都会导致输出特征变化明显,但是越往高层走,平移和尺度变化对最终结果的影响越小。卷积网无法对旋转操作产生不变性,除非物体具有很强的对称性。


图3

4.     网络结构

论文主要是参考Alexnet网络进行了一些参数的调整,其中用到的方法几乎是一样的,所以这里就不再详细描述。

0
0
查看评论

Visualizing and Understanding Convolutional Networks

Matthew D. Zeiler,Rob Fergus. Visualizing and Understanding Convolutional Networks.CVPR2014.论文下载 推荐一篇比较好的blog: Visualizing Features from a Convolution...
  • tina_ttl
  • tina_ttl
  • 2016-07-27 19:47
  • 5425

Visualizing and Understanding Convolutional Networks(精读)

一.文献名字和作者      Visualizing and Understanding Convolutional Networks, ECCV2014     二.阅读时间     2014年11月11日 ...
  • shengno1
  • shengno1
  • 2014-11-12 10:09
  • 3870

“看懂”卷积神经网(Visualizing and Understanding Convolutional Networks)

在所有深度网络中,卷积神经网和图像处理最为密切相关,卷积网在很多图片分类竞赛中都取得了很好的效果,但很多人都不了解卷积网取得良好成绩的原因。为此,卷积神经网的发明者Yann LeCun的得意门生Matthew Zeiler在2013年专门写了一篇论文,详细地分析了卷积网的结构,对训练样本如何影响卷积...
  • kklots
  • kklots
  • 2013-12-06 18:15
  • 17631

Deep learning学习笔记(2):Visualizing and Understanding Convolutional Networks(ZF-net)

reference link: http://blog.csdn.net/whiteinblue/article/details/43312059 本文是Matthew D.Zeiler 和Rob Fergus于(纽约大学)13年撰写的论文,主要通过Deconvnet(反卷积)来可视...
  • u011534057
  • u011534057
  • 2016-04-28 15:41
  • 3780

Visualizing and Understanding convolutional networks

Large convolutional networks model  Why they perform so well? How they migh be improved?
  • yihaizhiyan
  • yihaizhiyan
  • 2014-07-17 21:38
  • 2845

CNN入门必读经典:Visualizing and Understanding Convolutional Networks

本文主要是借助deconvnet来可视化卷积网络,这对于理解卷积网络还是非常重要的,同时本文又是13年ImageNet分类任务的冠军。 代码: https://github.com/guruucsd/CNN_visualization1 Deconvolution首先我们先对Deconvolut...
  • bea_tree
  • bea_tree
  • 2017-04-03 12:55
  • 1483

深度学习研究理解5:Visualizing and Understanding Convolutional Networks

Visualizing and understandingConvolutional Networks 本文是Matthew D.Zeiler 和Rob Fergus于(纽约大学)13年撰写的论文,主要通过Deconvnet(反卷积)来可视化卷积网络,来理解卷积网络,并调整卷积网络;本文通过Deco...
  • whiteinblue
  • whiteinblue
  • 2015-01-30 20:20
  • 8653

论文笔记 Visualizing and understanding convolutional networks

转自:http://blog.csdn.net/kklots/article/details/17136059   在所有深度网络中,卷积神经网和图像处理最为密切相关,卷积网在很多图片分类竞赛中都取得了很好的效果,但卷积网调参过程很不直观,很多时候都是碰运气。为此,卷积网发明者Yan...
  • iamzhangzhuping
  • iamzhangzhuping
  • 2015-12-17 19:24
  • 424

2013-Visualizing and Understanding Convolutional Networks

  • 2015-05-21 10:14
  • 34.56MB
  • 下载

GoogleNetV1: Going Deeper with Convolutions 论文阅读

0. 简介 论文pdf在这里,本篇论文是针对ImageNet2014的比赛,论文中的方法是比赛的第一名,包括task1分类任务和task2检测任务。本文主要关注针对卷积深度神经网络结构,通过改进神经网络的结构(depth&width)达到不增加计算资源需求的前提下提高网络的深度,从而达到提...
  • debug_moner
  • debug_moner
  • 2018-01-31 09:56
  • 10
    个人资料
    • 访问:130208次
    • 积分:1565
    • 等级:
    • 排名:千里之外
    • 原创:37篇
    • 转载:9篇
    • 译文:2篇
    • 评论:150条
    最新评论