Google Xception Network

本次介绍Google的Xception网络，该网络的目的或者说达到的效果是：模型参数量同GoogLeNet Inception V3相近的情况下取得更好的网络性能。

文章链接: 《Xception: Deep Learning with Depthwise Separable Convolutions》

caffe实现的Xception: https://github.com/yihui-he/Xception-caffe

TensorFlow实现的Xception: https://github.com/kwotsin/TensorFlow-Xception

1. 网络结构

Xception实际上采用了类似于ResNet的网络结构，主体部分采用了模块化设计。如下图所示：

其中， SeparableConv是一种depthwise convolution 和 1X1 卷积的结合。 depthwise convolution在caffe的实现中就是将group参数设置为等于numoutput。

我们先看一下传统卷积是怎么实现的：

再来看一下depthwise convolution的实现：

由上图可知，depthwise convolution卷积中每一个卷积核只对应输入的一个channel，因此这也要求输入通道数与输出通道数相同。 (大家可以注意到，Xception保持了中间重复模块的feature map的channel始终为728)。

完整的一个SeparableConv是下面的一个组合：

2. 进化由来

Xception 取名的由来是 “ Extreme Inception”， 其由Inception V3的演进而来：

“极端形式”同SeparableConv的区别主要有两点：

• 3x3卷积和1x1卷积的先后顺序。 原来的Inception结构是先1x1卷积，后3x3卷积。作者认为这里的区别并不重要。
• 两个卷积层之间是否有激活函数。 原来的Inception中间是有ReLU激活的。 但实验结果证明不加激活效果更好。

3. 总结

从实验结果来看， Xception在参数量上同Inception V3基本等同， 在Imagenet上的表现二者也很接近(另一个更大规模的Google私有数据集上，Xception的优势要稍微明显些)。

我的观点：

• 大规模使用Group操作，其实不利于矩阵层面的运算。即使可以减少参数，但不一定可以提高速度。
• Xception在性能上的提升比较有限，而且不能确定是否是ResNet结构带来的提升。