深度学习总结：常见卷积神经网络——Inception

　　上一篇博客主要回顾了VGG和Resnet，这一篇主要回顾一下GoogLeNet系列。

Inception v1

Inception v1提出于2014年，和VGG是同一年，使用了Inception的结构。
　　首先inception v1的层数是22层，但他的参数量却只有Alexnet的十二分之一。提升卷积神经网络的一个有效方法就是加大网络，无非就就是从宽度和深度两方面考虑，但这样会带来两个缺点：1参数变多，同时以造成过拟合，2网络的加深，比较难训练，同时梯度消失不可避免。
　　Inception同时从深度和宽度两方面考虑。同时考虑逐层的构造网络，如果数据集的概率分布能够被一个神经网络所表达，那么构造这个网络的最佳方法是逐层构筑网络，即将上一层高度相关的节点连接在一起。几乎所有效果好的深度网络都具有这一点，不管AlexNet VGG堆叠多个卷积，GoogLeNet堆叠多个inception模块，还是ResNet堆叠多个resblock。在构筑网络时，还考虑了稀疏的结构：人脑的神经元连接就是稀疏的，因此大型神经网络的合理连接方式也应该是稀疏的。稀疏的结构对于大型神经网络至关重要，可以减轻计算量并减少过拟合。 卷积操作（局部连接，权值共享）本身就是一种稀疏的结构，相比于全连接网络结构是很稀疏的。
　　- 深度：采用了22层的结构，9个inception堆叠，同时为了避免梯度消失的问题，同时将梯度传递到较浅的层，在不同的层增加了辅助分类器输出Loss，这样做的另一个好处是在分类中考虑了中间层和浅层的特征。

另外，在网络的开始用了7×7的卷积，目的是为了降低图像的特征层的大小，减少后面的计算量。
　　- 宽度：Inception结构，利用 size 为 1、 3、 5 不同大小的卷积核，同一层网络在不同通道的卷积核输出结果的相关性极高，1×1的卷积核可以自然地把这些相关性高的同一位置不同通道的特征结合起来，其他尺寸的卷积核保证了特征提取的多样性。