Xception

版权声明：本文为博主原创文章，未经博主允许不得转载

Xception: Deep Learning with Depthwise Separable Convolutions

论文：https://arxiv.org/abs/1610.02357

CVPR2017年的文章

---

创新点：分组卷积，分到极限，一个通道一组。

---

原文解析：

作者先是提到了InceptionV3模块的结构,如下图：

然后提出了一个简化的Inception模块结构，如下图：

进一步化简，前面1*1卷积合并，如下图：

之后，作者假设能不能把空间和通道完全解耦，原文是这么说的，assume that cross-channel correlations and spatial correlations can be mapped completely separately?，于是于是，就有了极致的Inception，每个通道分为一组，如下图：

作者谈到了极限的Inception与depthwise separable convolution非常相似，（实际工程通过depthwise separable来实现的，因tensorflow和keras有很好的实现；by replacing Inception modules with depthwise separable convolutions），有两点区别：

1.depthwise separable convolutions as usually implemented (e.g. in TensorFlow) perform first channel-wise spatial convolution and then perform 1x1 convolution, whereas Inception performs the 1x1 convolution first.

作者说先通道再空间还是先空间再通道是没有什么太大影响的，原话是这么说的，We argue that the first difference is unimportant, in particular because these operations are meant to be used in a stacked setting（堆叠中使用）。

2.The presence or absence of a non-linearity after the first operation（两部分操作之间是否加激活）. In Inception, both operations are followed by a ReLU non-linearity, however depthwise separable convolutions are usually implemented without non-linearities.

实验表明，两部分操作之间添加激活效果会更差，作者猜对于单通道输出做激活，容易丢失信息。

---

网络结构：

原文是这么描述的，In short, the Xception architecture is a linear stack of depthwise separable convolution layers with residual connections.

---

实验结果：

Table1表示几种网络结构在ImageNet上的对比。

 

Table2表示InceptionV3和Xception在JFT数据集上的对比（Xception and Inception V3 have nearly the same number of parameters, and thus any performance gap could not be attributed to a difference in network capacity）

图9表示residual connections的影响。

图10表示activation after pointwise convolutions的影响

---

总结：

Xception完全实现空间上的卷积和通道上的卷积的独立，各个操作之间减少耦合，充分利用计算力，用较小的尺寸达到了很好的效果。分组卷积不是一起进行卷积的，效率会稍微低一点，期待cudnn更好的支持。