Xception论文记录

简要介绍

Inception是神经网络的著作之一，它提出了多尺寸卷积和多个小卷积核代替大卷积核等概念。Xception是继Inception后提出的对Inception-v3的另一种改进。不同于VGG等传统网络通过堆叠简单3 * 3卷积实现特征提取，Inception模块通过组合1 * 1，3 * 3，5 * 5和pooling等结构进行特征提取，Inception结构将特征类型的选择留给网络自己训练，也就是将一个输入同时输给几种特征方式，然后做concat，用更少的参数和更少的计算开销来学习到更加丰富的特征表示。
通常在一组特征图上进行卷积需要三维卷积核，也即卷积核需要同时学习空间上的相关性和通道间的相关性。将这两种相关性显示地分离开，是Inception模块思想之一：Inception模块首先使用1 * 1的卷积核将特征图的各个通道映射到一个新的空间，在这一过程中学习通道间的相关性。再通过3 * 3或5 * 5卷积核进行卷积，这用于学习空间的相关性。
多尺寸卷积核
Inception最初提出的版本，核心思想是使用多尺寸卷积核去观察输入数据。
例如，我们看某个景象由于远近不同，同一个物体的大小也会有所不同，那么不同尺度的卷积核观察特征就会有这样的效果，于是设计下图的网络结构：

于是网络变胖了，增加了网络的宽度，同时也提高了对不同尺度的适应程度。
点卷积
当网络变胖时，相应的计算量也变大了，所以我们就要想办法减少参数量来减少计算量，于是在上图加上1 * 1卷积核。

使用1 * 1卷积核对输入的特征图进行降维处理，这样会极大地减少参数量，从而减少计算。
例如，输入的维度是256维，经过1 * 1卷积之后，我们输出的维度是64维，参数量变少了。这就是点卷积，也就是1 * 1卷积，主要用于数据降维，减少参数量