首先引出看别人笔记时发现的一张图:
这张图可能有点老了,没有加上后来的DenseNet。从时间线上来说,先有GoogleNet,再有ResNet,然后有DenseNet。
自AlexNet提出以来,主流网络结构突破主要在于网络更深(层数多),更宽(神经元)。GoogleNet的提出,主要着力于在增加网络深度宽度的同时减少参数。inception块结构图如下:
传统的卷积神经网络中,每一层都会从之前的层提取信息,以便将输入数据转换成更有用的表征。但是,不同类型的层会提取不同种类的信息。5×5 卷积核的输出中的信息就和 3×3 卷积核的输出不同,又不同于最大池化核的输出。但是,什么样的变换才能提供最“有用”的信息?基于这一问题,Inception 模块会并行计算同一输入映射上的多个不同变换,并将它们的结果都连接到单一一个输出,即让模型选择(这里好像是借鉴了一个关于灵长类动物