CNN经典网络结构

一、LeNet5的模型特性

1.卷积网络使用一个3层的序列组合：卷积、下采样（池化）、非线性映射（LeNet-5最重要的特 性，奠定了目前深层卷积网络的基础） 使用卷积提取空间特征 使用映射的空间均值进行下采样
2.使用tanh或sigmoid进行非线性映射
3.多层神经网络（MLP）作为最终的分类器
4.层间的稀疏连接矩阵以避免巨大的计算开销

二、AlexNet的模型特性

1.所有卷积层都使用ReLU作为非线性映射函数，使模型收敛速度更快
2.在多个GPU上进行模型的训练，不但可以提高模型的训练速度，还能提升数据的使用规模
3.使用LRN对局部的特征进行归一化，结果作为ReLU激活函数的输入能有效降低错误率
4.重叠最大池化（overlapping max pooling），即池化范围z与步长s存在关系z>s，避免平均池化（average pooling）的平均效应
5.使用随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合

三、ZFNet的模型特性

1.可视化技术揭露了激发模型中每层单独的特征图。
2.可视化技术允许观察在训练阶段特征的演变过程且诊断出模型的潜在问题。
3.可视化技术用到了多层解卷积网络，即由特征激活返回到输入像素空间。
4.可视化技术进行了分类器输出的敏感性分析，即通过阻止部分输入图像来揭示那部分对于分类是重要的。
5.可视化技术提供了一个非参数的不变性来展示来自训练集的哪一块激活哪个特征图，不仅需要裁 剪输入图片，而且自上而下的投影来揭露来自每块的结构激活一个特征图。 可视化技术依赖于解卷积操作，即卷积操作的逆过程，将特征映射到像素上。

四、Network in Network(NIN)的模型特性

1.使用多层感知机结构来代替卷积的滤波操作，不但有效减少卷积核数过多而导致的参数量暴涨问题，还能通过引入非线性的映射来提高模型对特征的抽象能力。
2.使用全局平均池化来代替最后一个全连接层，能够有效地减少参数量（没有可训练参数），同时池化用到了整个特征图的信息，对空间信息的转换更加鲁棒，最后得到的输出结果可直接作为对 应类别的置信度。

五、VGG-Net的模型特性

1.11卷积的意义主要在于线性变换，而输入通道数和输出通道数不变，没有发生降维。
2.两个33的卷积层串联相当于1个55的卷积层，感受野大小为55。同样地，3个33的卷积层串联的效果则相当于1个77的卷积层。这样的连接方式使得网络参数量更小，而且多层的激活函数令网络对特征的学习能力更强。
3. VGGNet在训练时有一个小技巧，先训练浅层的的简单网络VGG11，再复用VGG11的权重来初始 化VGG13，如此反复训练并初始化VGG19，能够使训练时收敛的速度更快。
4.在训练过程中使用多尺度的变换对原始数据做数据增强，使得模型不易过拟合。

六、GoogleNet模型特性

1.GoogLeNet 中最核心的部分是其内部子网络结构Inception，该结构灵感来源于NIN，至今已经经历了四次版本迭代（Inceptionv1-4）
2.采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；
3.之所以卷积核大小采用1、3和5，主要是为了方便对齐。设定卷积步长stride=1之后，只要分别 设定pad=0、1、2，那么卷积之后便可以得到相同维度的特征，然后这些特征就可以直接拼接在 一起了；
4.网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大了，因此随着层数的增加， 3x3和5x5卷积的比例也要增加。但是，使用5x5的卷积核仍然会带来巨大的计算量。 为此，文章 借鉴NIN2，采用1x1卷积核来进行降维。

七、为什么现在的CNN模型都是在GoogleNet、VGGNet 或者AlexNet上调整的？

1.评测对比：为了让自己的结果更有说服力，在发表自己成果的时候会同一个标准的baseline及在 baseline上改进而进行比较，常见的比如各种检测分割的问题都会基于VGG或者Resnet101这样的基础网络。
2.时间和精力有限：在科研压力和工作压力中，时间和精力只允许大家在有限的范围探索。
3.模型创新难度大：进行基本模型的改进需要大量的实验和尝试，并且需要大量的实验积累和强大灵感，很有可能投入产出比比较小。
4.资源限制：创造一个新的模型需要大量的时间和计算资源，往往在学校和小型商业团队不可行。 在实际的应用场景中，其实是有大量的非标准模型的配置。