CNN经典网络结构

一、LeNet5的模型特性

1.卷积网络使用一个3层的序列组合：卷积、下采样（池化）、非线性映射（LeNet-5最重要的特 性，奠定了目前深层卷积网络的基础） 使用卷积提取空间特征 使用映射的空间均值进行下采样
2.使用tanh或sigmoid进行非线性映射
3.多层神经网络（MLP）作为最终的分类器
4.层间的稀疏连接矩阵以避免巨大的计算开销

二、AlexNet的模型特性

1.所有卷积层都使用ReLU作为非线性映射函数，使模型收敛速度更快
2.在多个GPU上进行模型的训练，不但可以提高模型的训练速度，还能提升数据的使用规模
3.使用LRN对局部的特征进行归一化，结果作为ReLU激活函数的输入能有效降低错误率
4.重叠最大池化（overlapping max pooling），即池化范围z与步长s存在关系z>s，避免平均池化（average pooling）的平均效应
5.使用随机丢弃技术（dropout）选择性地忽略训练中的单个神经元，避免模型的过拟合

三、ZFNet的模型特性

1.