GoogLeNet （一）GoogLeNet的Inception v1到v4的演进

一、GoogLeNet 由来

1.1 GoogLeNet 介绍

  GoogLeNet是谷歌（Google）研究出来的深度网络结构，为什么不叫“GoogleNet”，而叫“GoogLeNet”，据说是为了向“LeNet”致敬，因此取名为“GoogLeNet”。GoogLeNet团队提出了Inception网络结构，就是构造一种“基础神经元”结构，来搭建一个稀疏性、高计算性能的网络结构。

  2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogLeNet则做了更加大胆的网络结构尝试，虽然深度只有22层，但大小却比AlexNet和VGG小很多，GoogleNet参数为500万个 ，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此在内存或计算资源有限时，GoogleNet是比较好的选择；从模型结果来看，GoogLeNet的性能却更加优越。

  GoogLeNet的Inception架构能够在内存和计算预算的严格限制strict constraints on memory and computational budget的情况下，取得很好的性能。另外GoogLeNet仅有5 million参数（1/12 AlexNet参数量）。

1.2 GoogLeNet是如何进一步提升性能的呢？

  一般来说，提升网络性能最直接的办法就是增加网络深度和宽度，深度指网络层次数量、宽度指神经元数量。但这种方式存在以下问题：
  （1）参数太多，如果训练数据集有限，很容易产生过拟合；
  （2）网络越大、参数越多，计算复杂度越大，难以应用；
  （3）网络越深，容易出现梯度弥散问题（梯度越往后穿越容易消失），难以优化模型。

  所以，有人调侃“深度学习”其实是“深度调参”。

  解决这些问题的方法当然就是在增加网络深度和宽度的同时减少参数，为了减少参数，自然就想到将全连接变成稀疏连接。但是在实现上，全连接变成稀疏连接后实际计算量并不会有质的提升，因为大部分硬件是针对密集矩阵计算优化的，稀疏矩阵虽然数据量少，但是计算所消耗的时间却很难减少。

  那么，有没有一种方法既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，就如人类的大脑是可以看做是神经元的重复堆积，因此，GoogLeNet团队提出了Inception网络结构，就是构造一种“基础神经元”结构，来搭建一个稀疏性、高计算性能的网络结构。

1.3 Inception 介绍

  Inception 网络是 CNN 分类器发展史上一个重要的里程碑。在 Inception 出现之前，大部分流行 CNN 仅仅是把卷积层堆叠得越来越多，使网络越来越深，以此希望能够得到更好的性能。

  Inception 网络是复杂的（需要大量工程工作）。它使用大量 trick 来提升性能，包括速度和准确率两方面。它的不断进化带来了多种 Inception 网络版本的出现。常见的版本有：

• Inception v1
• Inception v2 和 Inception v3
• Inception v4 和 Inception-ResNet

  每个版本都是前一个版本的迭代进化。了解 Inception 网络的升级可以帮助我们构建自定义分类器，优化速度和准确率。此外，根据你的已有数据，或许较低版本工作效果更好。

二、Inception 版本变化

  Inception历经了V1、V2、V3、V4等多个版本的发展，不断趋于完善，下面一一进行介绍

2.0 原始Inception架构

  GoogLeNet 架构，即原始Inception架构。
  通过设计一个稀疏网络结构，但是能够产生稠密的数据，既能增加神经网络表现，又能保证计算资源的使用效率。谷歌提出了最原始Inception的基本结