论文Visualizing and Understanding Convolutional Networks

1 介绍
各个数据集上的表现有很大的提高有几方面的原因:有更多的有标签数据集,更强劲的Gpu,更好的学习策略,例如,dropout.
可是对于模型的内部操作和行为还是没有很深的理解,对于为什么达到这样的表现没有好的科学解释。我们将引进一个技术,可以解决这个问题。我们基于hiton2012的imagenet classification论文的结构,实现了一个变现更好的结构。之后我们在其他数据集上测试了这个结构的一般化,只是重新训练了顶层的softmax层,这是一种有监督的预训练,这里借鉴了Hinton和其他人的非监督预训练的方法。
1.1相关的工作
使用每一层的特征图,向后映射,而不是直接使用卷基层的到的特征图。
在每一个卷积层都加上了一个反卷积层。在卷积,Relu,Max-pooling之后,不仅输出给下一层作输入,也为反卷积提供输入。反卷积依次进行unpooling,Relu和反卷积。
Relu:直接使用Relu函数,仍然确保输出为非负数。
反卷积:利用相同的卷积核的转置作为核,与输入做卷积运算。
2方法
基于ImageNet classfied论文的模型,这个模型有许多层,每一层包括:前一层输出和卷积核进行卷积运算,Relu,最大池化以及local contrast operation.
这里写图片描述
为了检查给定的激活,我们将层间的激活都设置成零,然后将特征图作为输入传入到相连的反卷积层,经过反池化,反激活,反卷积,重复这个过程直到像素空间。
反池化:池化过程是不可逆转的,我们可以近似的反池化,记录下最大池化的位置,将值放入这个位置,其他都置为零。
反激活:仍使用relu激活函数保证特征图非负即可。
反卷积:使用转置的卷积核,做卷积运算。
3训练细节
4可视化
层数越高所提取的特征越抽象。底层会展示物体的边缘颜色等,高层就会体现类与类的差异。
经过一定次数额迭代以后,底层特征趋于稳定,但更高层需要更多次的迭代。
层数越低,很小的变化可以导致输出特种的变化,层数越高这种影响越小。
由于第一层的stride大会引起图像混叠,所以将filter窗口由11*11变成7*7stride由4变成2,这样第一层和第二层会有更好的特征学习,也提高了模型的分类表现。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值