关闭

Xception_深度可分卷积

标签: 神经网络结构
148人阅读 评论(0) 收藏 举报

转载自:http://blog.csdn.net/wangli0519/article/details/73004985
卷积神经网络中Inception模块是在在普通卷积和深度可分卷积操作之间一种中间状态。基于此,深度可分卷积可理解为最大数量tower的INception模块。根据Inception,提出一种新的的深度卷积神经网络结构,用深度可分卷积替代Inception模块。昵称为Xception结构,表现略优于Inception V3。。Xception结构和Inception V3有相同数量的参数,这种性能的提升是来自与更有效的的使用模型参数而不是提高容量。
2014年Szegedy等人引入GoogLeNet,也就是Inception V1,之后优化为Inception V2,Inception V3,以及最新的Inception-ResNet。传统Inception模块如图所示
这里写图片描述
Inception V3结构是上图传统Inception模块的堆叠,Inception模块概念上与卷积相似,实践中她们能够在更少参数中学习到更多的表征。
Inception假设

卷积层试图在3D空间学习过滤器,2个空间维度以及1个通道维度,因此一个卷积核需要同时绘制跨通道相关性和空间相关性。Inception模块背后的思想就是通过将这个过程分解成一系列相互独立的操作以使它更为便捷有效。进一步,典型的Inception模块首先跨处理通道相关性,通过一组1×1卷积,将输入数据绘制到3或4个小于原始输入的不同空间,然后通过3×3或者5×5卷积将所有县官性绘制到更小3D空间。图上所示是Inception背后基本假设是跨通道相关性和空间相关性的绘制有效脱钩。
考虑一个Inception模块的简化版本,只使用一种规格的卷积,并不含平均池化。

这里写图片描述

这个模块可以转化成1×1卷积,然后在输出通道不重复的区块进行空间卷积。
这里写图片描述

这个观察自然提出了一个问题:在分割中区块数量的效用?如果假设区域相关性和空间相关性完全分开绘制,会不会比Inception假设更合理?
一个Inception模块极端的版本就是基于上述的假设,首先使用1×1卷积绘制跨通道相关性,然后独立的绘制每个输出通道的空间特性。
这里写图片描述
这种Inception模块的极端版本与深度可分卷积几乎相同,在Tensorflow中极为流行。
深度可分卷积,普遍称作“可分卷积”,在深度学习框架TensorFlow和keras,包含深度卷积,即在每个通道独立执行空间卷积,然后进行逐点卷积,即1×1卷积,将深度卷积的通道映射到新的通道空间。
Inception模块的极端版本和深度可分卷积的两个不同有:
—顺序操作:深度可分卷积一般先进性通道的空间卷积,然后进行1×1卷积,而Inception首先进行1×1卷积。
—上个操作后是否进行非线性操作:Inception中两个操作都使用ReLU进行非线性激活,而深度可分卷积不使用。
我们认为第一个区别不重要,因为这些操作会被堆叠起来,第二个去被在实验中对对结果有所影响。
我们也注意到,在普通Inception模块和深度可分卷积之间也可能存在其他组合:实际上通过调整空间卷积不同数量的独立通道-空间区块,存在一个离散的序列。普通卷积(1×1卷积开始)在序列的一端,对应单一区块情况;深度可分卷积对应另一端,每个通道为一个区块;Inception模块居于其间,将数百个通道划分成3或4个区块。这些居间模块的属性还没有被完全审视挖掘。

基于上述观察,我们认为使用深度可分卷积替代Inception模块能够提升Inception结构,即用深度可分卷积堆叠来构建模型。

我们提出一个完全基于深度可分卷积层的卷积神经网络结构。实际上,我们做如此假设:卷积神经网络的特征图中的跨通道相关性和空间相关性的绘制可以完全脱钩。由于这种假设是Inception结构中极端化的假设,我们将它称作Xception,意指极端Inception。

网络的完整描述如下图
这里写图片描述

1
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Xception —— 深度可分卷积

卷积神经网络中的Inception模块是在普通卷积和深度可分卷积操作(深度卷积后逐点卷积)之间的一种中间步骤的解释。基于此,深度可分卷积可以理解为最大数量tower的Inception模块。受Inception启发,该观察引发我们提出一种新的深度卷积神经网络结构,用深度可分卷积替代Inception...
  • wangli0519
  • wangli0519
  • 2017-06-10 19:54
  • 1931

理解深度学习中的卷积

译自Tim Dettmers的Understanding Convolution in Deep Learning。有太多的公开课、教程在反复传颂卷积神经网络的好,却都没有讲什么是“卷积”,似乎默认所有读者都有相关基础。这篇外文既友好又深入,所以翻译了过来。文章高级部分通过流体力学量子力学等解释...
  • u014696921
  • u014696921
  • 2017-05-13 21:40
  • 2394

深度学习介绍(四)卷积操作

接下来介绍一下,CNNs是如何利用空间结构减少需要学习的参数数目的 如果我们有一张1000x1000像素的图像,有1百万个隐层神经元,那么他们全连接的话(每个隐层神经元都与图像的每一个像素点相连),这样就有1000x1000x1000000=10^12个连接,也就是10^12个权值参数。然而图像的...
  • yingyujianmo
  • yingyujianmo
  • 2015-04-08 19:36
  • 5679

深度学习与卷积神经网络(直观理解)

好吧,读了男神哥哥们的博客,自己写不来更好的。 附上链接:     凌风探梅的卷积神经网络(CNN)新手指南 http://blog.csdn.NET/real_myth/article/details/52273930;   深度...
  • u014696921
  • u014696921
  • 2016-12-16 20:45
  • 2806

如何得到卷积层输出的深度--CNN卷积层

tensorflow代码(Tensorflow官方文档)中: w_conv1=weight_variable([5,5,1,32]),一直不明白这个32是怎么来的,表示的是什么? 后来看到cs231n-知乎课程翻译的卷积神经网那一章的一段话:参数共享:在卷积层中使用参数共享是用来控制参数的数量。...
  • xuke100
  • xuke100
  • 2017-04-07 13:23
  • 803

深度学习算法--卷积神经网络

卷积神经网络(CNN)是深度学习在图像处理领域的一个应用。在学习卷积神经网络之前,先了解下它的两个基本思想: 1、局部感受: 一般认为人对外界的认知是从局部到全局的,而图像的空间联系也是局部的像素联系较为紧密,而距离较远的像素相关性则较弱。因而,每个神经元其实没有必要对全局图像进行感知,只需要对...
  • qqzj_bupt
  • qqzj_bupt
  • 2016-10-09 10:26
  • 999

深度学习中的「卷积层」如何深入理解?

本文经公众号「雷克世界」授权转载(微信号:ROBO_AI) 原文来源:medium 作者:ApilTamang 「雷克世界」编译:嗯~阿童木呀 多啦A亮 近来,深度学习的火爆程度显而易见,而在深度学习领域,卷积网络则是引起这许多令人惊叹的结果的...
  • tkkzc3E6s4Ou4
  • tkkzc3E6s4Ou4
  • 2017-11-30 00:00
  • 175

深度学习(DL):卷积神经网络(CNN):从原理到实现

序深度学习现在大火,虽然自己上过深度学习课程、用过keras做过一些实验,始终觉得理解不透彻。最近仔细学习前辈和学者的著作,感谢他们的无私奉献,整理得到本文,共勉。1.前言(1)神经网络的缺陷在神经网络一文中简单介绍了其原理,可以发现不同层之间是全连接的,当神经网络的深度、节点数变大,会导致过拟合、...
  • a819825294
  • a819825294
  • 2016-12-01 20:30
  • 16634

深度学习(卷积神经网络)一些问题总结

深度卷积网络   涉及问题: 1.每个图如何卷积:   (1)一个图如何变成几个?   (2)卷积核如何选择? 2.节点之间如何连接? 3.S2-C3如何进行分配? 4.16-120全连接如何连接? 5.最后output输出什么形式? ①各个...
  • nan355655600
  • nan355655600
  • 2013-12-30 21:11
  • 67108

【深度学习】反卷积(transposed convolution)介绍

反卷积与卷积 反卷积,顾名思义是卷积操作的逆向操作。 为了方便理解,假设卷积前为图片,卷积后为图片的特征。 卷积,输入图片,输出图片的特征,理论依据是统计不变性中的平移不变性(translation invariance),起到降维的作用。如下动图: 反卷积,输入图片的特征,输出图片,起...
  • qq_29340857
  • qq_29340857
  • 2017-06-05 20:13
  • 2467
    个人资料
    • 访问:15061次
    • 积分:285
    • 等级:
    • 排名:千里之外
    • 原创:6篇
    • 转载:56篇
    • 译文:0篇
    • 评论:0条
    文章分类