摘要
Inception net是2014年ILSVRC的冠军,这个是第一个版本因此称作v1,总的来说该网络的创新点如下:
- 提高了网络的计算资源利用率
- 增加了网络深度和每一层的宽度,但计算量不变
- 基于Hebbian原则和多尺度处理
提高网络性能
最直接提高网络性能的方法主要有两种,增加网络的深度和增加层网络的宽度(即增加每一级中的单元数)。
缺点:
- 直接单纯的增加网络深度和宽度会导致网络参数过多,在数据集一定的情况下会导致过拟合现象,并且增加数据集是棘手的并且昂贵的事情。
- 参数的增加会导致计算量的大量增加
解决方法: - 使用全局平均池化代替全连接层(VGG网络中全连接层参数占据了总量的90%)
- 大量使用1x1卷积核
如此设计原因: - 逐层构造网络:如果数据集的概率分布能够被一个神经网络表达,那么构造这个网络的最佳方法是逐层构筑网络,即将上一层高度相关的输出聚类到一起。几乎所有效果好的深度网络都具有这一点,不管AlexNet VGG堆叠多个卷积,googleNet堆叠多个inceptio