Inception V1

与VGGNet同年的冠军-Inception V1 不仅控制了计算量和参数量，同时分类性能也非常好。相比于AleXNet (8层）和VGGNet（19层），inception V1 具有22层。

InceptionV1参数少但是效果好的原因有：
（1） 去除了最后的全连接层，大大减少了参数量，并减轻了过拟合。用“全局平均池化层来代替”（该想法来源于 Network In Network）
（2）精心设计的“inception model”提高了参数的利用率。

Network In Network）

注： 是对每一个感受野都进行一个NIN的操作。
1 提出一个NIN深度网络结构用来增强模型在感知野对局部图像块的辨别力。
2提出在卷积层使用“非线性”替代现有的“线性模型”
3 使用由MLP组成micro neural网络zoo为非线性模型去提取特征

全局平均池化

在MLPconv最后一层为每一个分类任务的相应种类生成一个特征映射。
优点：
（1） 全局平均池化更原生的支持卷积结构，而通过加强特征映射与相应分类的对应关系。
（2）没有需要优化的参数，避免归一化
（3）汇总了空间信息，因此对空间变化时健壮的。

NIN介绍

Inception V1

图片来源
论文中原始版本:

但是由于所有的卷积核都在上一层的所有输出上来做，那5×5的卷积核所需的计算量就太大了，造成了特征图厚度很大。因此，利用了1x1的卷积核来降低特征图厚度。（减少了输出通道数，自然就减少了参数）

形象解释：
Inception module就相当于大网络中的小网络，其结构反复堆叠形成大网络。
一般来说，为了提升表达能力，主要依靠加深网络和增加输出通道数，但副作用就是计算量大大增加。

来分析下，inception module的基本结构：
一共有4个分支，每个分支都有1X1的卷积。1x1的卷积是一个非常有用的结构，可以跨通道组织信息，提高网络的表达能力，还可以进行输出通道的升维和降维。
该module上有3中不同尺寸的卷积和1个最大池化，增加了网络对不同尺度的适应性（类似于Multi-Scale的思想），它可以上网络的深度和宽度高效率的扩充，提升了准确率还不致于导致过拟合。

Inception V1有22层深，处理最后一层的输出，中间节点的输出分类效果也很好。因此在Inception V1中还用到了辅助分类节点：将中间某一层的输出用作分类，并按一个较小的权重（0.3）加载到最终的分类结果中，相当于模型融合，同时在反向传播时增加了梯度信号，也提供了额外的正则化。