轻量级网络：Xception

Xception是google继Inception后提出的对Inception v3的另一种改进，主要是采用depthwise separable convolution来替换原来Inception v3中的卷积操作。Xception在参数量上同Inception V3基本等同， 在Imagenet上的表现二者也很接近(在另一个更大规模的Google私有数据集JFT上，Xception的优势要稍微明显些)。

网络结构

其中， SeparableConv是一种depthwise convolution 和 1X1 卷积的结合。我们先看一下传统卷积是怎么实现的：

再来看一下depthwise convolution的实现：

由上图可知，depthwise convolution卷积中每一个卷积核只对应输入的一个channel，因此这也要求输入通道数与输出通道数相同。 (大家可以注意到，Xception保持了中间重复模块的feature map的channel始终为728)

完整的一个SeparableConv是下面的一个组合：

在Xception中主要采用这种类似于depthwise separable convolution的SeparableConv，区别主要有两点：

•    3x3卷积和1x1卷积的先后顺序。 原来的Inception结构是先1x1卷积，后3x3卷积。作者认为这里的区别并不重要。
•    两个卷积层之间是否有激活函数。 原来的Inception中间是有ReLU激活的。 但实验结果证明不加非线性激活效果更好。

---

演变由来

要介绍Xception的话，需要先从Inception讲起，Inception v3的结构图如下。当时提出Inception的初衷可以认为是：特征的提取和传递可以通过1*1卷积，3*3卷积，5*5卷积，pooling等，到底哪种才是最好的提取特征方式呢？Inception结构将这个疑问留给网络自己训练，也就是将一个输入同时输给这几种提取特征方式，然后做concat。Inception v3和Inception v1（googleNet）对比主要是将5*5卷积换成两个3*3卷积层的叠加。

下图显示了Xception的演变：

等价形式表示对于一个输入，先用一个统一的1*1卷积核卷积，然后连接3个3*3的卷积，这3个卷积操作只将前面1*1卷积结果中的一部分（不重叠）作为自己的输入（这里是将1/3channel作为每个3*3卷积的输入）。极端模式就是3*3卷积的个数和1*1卷积的输出channel个数一样，每个3*3卷积都是和1个输入channel做卷积。

---

最终实验结果

从实验结果来看， Xception在参数量上同Inception V3基本等同， 在Imagenet上的表现二者也很接近(在另一个更大规模的Google私有数据集上，Xception的优势要稍微明显些)。

---

参考

https://blog.csdn.net/shuzfan/article/details/77129716

https://blog.csdn.net/u014380165/article/details/75142710