Xception是google继Inception后提出的对Inception v3的另一种改进,主要是采用depthwise separable convolution来替换原来Inception v3中的卷积操作。Xception在参数量上同Inception V3基本等同, 在Imagenet上的表现二者也很接近(在另一个更大规模的Google私有数据集JFT上,Xception的优势要稍微明显些)。
网络结构
其中, SeparableConv是一种depthwise convolution 和 1X1 卷积的结合。我们先看一下传统卷积是怎么实现的:
再来看一下depthwise convolution的实现:
由上图可知,depthwise convolution卷积中每一个卷积核只对应输入的一个channel,因此这也要求输入通道数与输出通道数相同。 (大家可以注意到,Xception保持了中间重复模块的feature map的channel始终为728)
完整的一个SeparableConv是下面的一个组合:
在Xception中主要采用这种类似于depthwise separable convolution的SeparableConv,区别主要有两点:
- 3x3卷积和1x1卷积的先后顺序。 原来的Inception结构是先1x1卷积,后3x3卷积。作者认为这里的区别并不重要。
- 两个卷积层之间是否有激活函数。 原来的Inception中间是有ReLU激活的。 但实验结果证明不加非线性激活效果更好。
演变由来
要介绍Xception的话,需要先从Inception讲起,Inception v3的结构图如下。当时提出Inception的初衷可以认为是:特征的提取和传递可以通过1*1卷积,3*3卷积,5*5卷积,pooling等,到底哪种才是最好的提取特征方式呢?Inception结构将这个疑问留给网络自己训练,也就是将一个输入同时输给这几种提取特征方式,然后做concat。Inception v3和Inception v1(googleNet)对比主要是将5*5卷积换成两个3*3卷积层的叠加。
下图显示了Xception的演变:
等价形式表示对于一个输入,先用一个统一的1*1卷积核卷积,然后连接3个3*3的卷积,这3个卷积操作只将前面1*1卷积结果中的一部分(不重叠)作为自己的输入(这里是将1/3channel作为每个3*3卷积的输入)。极端模式就是3*3卷积的个数和1*1卷积的输出channel个数一样,每个3*3卷积都是和1个输入channel做卷积。
最终实验结果
从实验结果来看, Xception在参数量上同Inception V3基本等同, 在Imagenet上的表现二者也很接近(在另一个更大规模的Google私有数据集上,Xception的优势要稍微明显些)。