[论文笔记] Inception V1-V4 系列以及 Xception

作者团队：谷歌

Inception V1 （2014.09）

网络结构主要受Hebbian principle 与多尺度的启发。

Hebbian principle：neurons that fire togrther,wire together

单纯地增加网络深度与通道数会带来两个问题：模型参数量增大（更容易过拟合），计算量增大（计算资源有限）。
改进一：如图(a)，在同一层中采用不同大小的卷积核以及pooling层同时对图像提取特征，然后将特征concatenate。
但是这里有一个问题是，计算量会很大。然后提出了改进二
改进二：如图(b)，添加$1\times 1$卷积，一方面用来减小通道数，从而降低计算量；另一方面，在$1\times 1$卷积后加入ReLu，增添非线性。

其具体的网络结构如下：

Inception的网络示意图如下。共有22层，网络相对较深，为了避免出现梯度消失的问题，网络中添加了两个auxiliary classifiers，最终的loss为它们的加权和。当然，这两个auxiliary classifiers只在训练阶段使用，测试阶段不用。

Inception V2 （2015.12）

Inception的优点很大程度上是由dimension reduction带来的，为了进一步提高计算效率，这个版本探索了其他分解卷积的方法。因为Inception为全卷积结构，网络的每个权重要做一次乘法，因此只要减少计算量，网络参数量也会相应减少。
探索一、Factorization into smaller convolutions

如下图所示，左边的结构为Inception V1模块，右边的结构仅仅是将$5\times 5$卷积用两个$3\times 3$卷积代替。这样可以一定程度减少计算量。一个 5 ×