Inception系列4_Xception: Deep Learning with Depthwise Separable Convolutions

Xception: Deep Learning with Depthwise Separable Convolutions
作者:Franc ¸ois Chollet

卷积层的作用是既要学习二维信息,也要学习三维信息。为了使得这种学习简单高效,inception将其分解为一系列的操作,独立的学习二维和三维特征。首先通过一系列的1X1关注与三维相关性,映射到3~4个独立的比输入更小的空间,然后在通过3x3 或者 5x5的卷积处理。假设就是,三维和二维的相关性被减弱,进行独立映射也很好。另一种变形就是独立的处理网络的宽度相关性和高度相关性,比如Inception V3中的 7x1 和1x7 卷积。
作者提出一个大胆的假设,三维相关性(通道之间的相关性)和二维相关性(每个特征图自己的相关性)完全独立进行映射。根据这个假设,提出了一个极端变形的inception模块,如图3。
这里写图片描述
如果更加极端,如图4。
这里写图片描述

意思是,首先通过一个1X1的卷积,然后将输出的通道平分为多份,对每份分别使用3X3卷积。
depthwise separable convolution,在深度学习中通常被称为separable convolution,操作方法为:首先对输入的每个通道独立的使用卷积,然后在使用一个1X1的卷积,将这些通道的输出映射到一个新的通道。
这个极端的inception和separable convolution有两个不同:
a) 极端的inception是先1X1卷积,separable convolution是先对通道进行卷积操作;
b)操作之后的非线性。Inception中,每个卷积操作之后加一个ReLU non-linearity;而separable convolution中通常不加non-linearities。
作者对separable convolution后边增加何种non-linearity或者不加,进行了实验。如图10。
这里写图片描述

The Xception architecture
假设是:卷积神经网络特征图中的通道之间的相关性和特征图的相关性可以被完全的减弱。如图5。
这里写图片描述

Experimental evaluation
作者在两个数据集进行测试,ImageNet dataset(单标签,1000类),JFT dataset(多标签,17000类,使用FastEval14k测试)。对FastEval14k,使用top 100计算Mean Average Precision(见博客)来评估。
对两个数据集的配置如下:
• On ImageNet:
– Optimizer: SGD
– Momentum: 0.9
– Initial learning rate: 0.045
– Learning rate decay: decay of rate 0.94 every 2 epochs
• On JFT:
– Optimizer: RMSprop
– Momentum: 0.9
– Initial learning rate: 0.001
– Learning rate decay: decay of rate 0.9 every 3,000,000 samples

Regularization configuration
Weight decay:Inception V3使用weight decay (L2 regularization) rate of 4e – 5,Xception是1e – 5。对两个数据集。
Dropout:对ImageNet,两个模型在logistic regression层之前包含dropout 层,rate 0.5。对JFT,没有使用dropout。
Auxiliary loss tower:不使用。
结果:
ImageNet结果,如表1。
这里写图片描述

这里写图片描述

JFT数据集结果:
这里写图片描述

这里写图片描述

这里写图片描述

在ImageNet上对Xception使用残差模块的效果进行探索:
这里写图片描述

在ImageNet数据集上实验:在depthwise 和pointwise operations之间加non-linearity的效果,如图10。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值