InceptionV1网络

个人笔记 感谢指正

InceptionV1

参考来源：https://zhuanlan.zhihu.com/p/73828787
https://zhuanlan.zhihu.com/p/42124583

InceptionV1简介

InceptionV1 是GooLeNet另一个称呼，GooLeNet深度只有22层，但大小却比AlexNet和VGG小很多，GooLeNet的参数为500万个，AlexNet参数个数是GooLeNet的12倍，VGGNet参数又是AlexNet的3倍。

InceptionV1 如何提升网络性能

一般提升网络性能最直接的方法是增加网络深度和宽度，深度指网络层数，宽度指神经元数量，但是会存在一些问题：

1.参数太多，如果训练数据集有限，很容易产生过拟合。
2.网络越大，参数越多，则计算复杂度越大，难以应用。
3.网络越深，容易出现梯度弥散问题(梯度越往后越容易消失)，难以优化模型。

有一种解决方式是增加网络的深度和宽度的同时减少参数，为了减少参数一种方式是将全连接变成稀疏连接(Dropout)。但实际上稀疏连接的计算性能并不会有质的提升。这是因为大部分硬件是针对密集矩阵计算优化的。
GooLeNet提出了一种Inception网络结构，构造一种“基础神经元”结构，来搭建一个稀疏性，高计算性能的网络结构。既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。

Inception网络结构

通过设计一个稀疏网络结构，但是能产生稠密的数据(输出通道相同的同时或者输出信息量相同的同时减少了需要训练的参数)，既能增加神经网络表现，又能保证计算资源的使用效率(在获取较多信息的同时，减少了需要训练的参数)。谷歌提出最原始的Inception结构：

该结构CNN中常用的卷积(1x1，3x3，5x5)，池化操作（3x3）堆叠在一起（卷积，池化后的尺寸相同，将通道相加），一方面增加了网络的宽度，另一方面也增加了网络对尺度的适应性。
网络卷积层中的网络能够提取输入的每一个细节信息，同时5x5的滤波器也能够覆盖大部分接受层的输入(卷积核较大，图片中尺寸较大的特征也可以提取到)。还可以进行一个池化操作，以减少空间大小降低过拟合(因为Pooling操作不产生需要训练的参数，从而减少了需要训练的参数，但是却也可以提取特征)。以上每个卷积层后都要做一个ReLU操作，以增加网络的非线性特征。这个版本所有的卷积核都在上一层的所有输出上来做，而那个5x5的卷积核所需的计算量就太大了，造成了特征图的厚度很大，