深度学习经典网络（3）GoogleNet网络结构详解

0.背景

获得高质量模型最保险的做法就是增加模型的深度（层数）或者是其宽度（每一层卷积核数或者神经元数），但是这里一般设计思路的情况下会出现如下的缺陷：

1.参数太多，若训练数据集有限，容易过拟合；

2.网络越大计算复杂度越大，难以应用；

3.网络越深，梯度越往后穿越容易消失，难以优化模型。 

解决上述两个缺点的根本方法是将全连接甚至一般的卷积都转化为稀疏连接。为了打破网络对称性和提高学习能力，传统的网络都使用了随机稀疏连接。但是，计算机软硬件对非均匀稀疏数据的计算效率很差，

所以在AlexNet中又重新启用了全连接层，目的是为了更好地优化并行运算。现在的问题是有没有一种方法，

既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。

1. Inception模块介绍

Inception架构的主要思想是找出如何用密集成分来近似最优的局部稀疏解。

对上图做以下说明： 

1 . 采用不同大小的卷积核意味着不同大小的感受野（1×1,3×3,5×5），最后拼接意味着不同尺度特征的融合； 

2 . 之所以卷积核大小采用1*1、3*3和5*5，主要是为了方便对齐。设定卷积步长stride=1之后，只要分别设定padding =0、1、2，采用same卷积可以得到相同维度的特征，然后这些特征直接拼接在一起； 

3 . 文章说很多地方都表明pooling挺有效，所以Inception里面也嵌入了pooling。 

4 . 网络在越靠前时，感受野越小，关注到的越细节（汽车的细节纹理），所以根本看不出来特征是什么。越到后面特征越抽象，且每个特征涉及的感受野也更大（车轮，车身），所以越到后面越能看清特征是什么东西。随着层数的增加，3x3和5x5卷积的比例也要增加。

Inception的作用：代替人工确定卷积层中的过滤器类型或者确定是否需要创建卷积层和池化层，即：不需要人为的决定使用哪个过滤器，是否需要池化层等，由网络自行决定这些参数，可以给网络添加所有可能值，将输出连接起来，网络自己学习它需要什么样的参数，采用哪些过滤器组合。