经典CNN模型及其特点

• AlexNet网络（2012年）
  AlexNet含有五个卷积层，三个池化层和三个全连接层。
  特点
  1、首次使用非线性激活函数ReLU，验证其在较深的网络中效果远超Sigmoid函数，不仅避免了在较深网络中出现的梯度弥散问题，还加快了网络训练速度。
  2、训练中使用Dropout机制随机忽略一部分神经单元，有效避免过拟合。
  3、使用最大池化，避免池化导致的糊化效应。
  4、灵活运用数据增加策略减少过拟合风险，提高模型泛化能力。
  5、使用cuda的多GPU训练缩短模型收敛所需要的时间。

• VGG网络（2014年）
  VGG16含有十三个卷积层，五个池化层和三个全连接。
  VGG19含有十六个卷积层，五个池化层和三个全连接。
  特点
  该网络通过级联多个小尺寸卷积替代大尺寸卷积核，使得多个小卷积核和一个大卷积核的神经元感受野相同，不仅有效减少网络参数量，同时多个小卷积核增加了网络非线性变换和网络深度。相比于AlexNet，VGG有更多的层数，能够抽取更加复杂抽象的高层特征，提高了模型分类的准确度。
  Resnet网络（2015年）
  Resnet18含有九个卷积层，两个池化层和一个全连接。
  特点
  提出残差模块，通过多层卷积去学习输入和输出之间的残差，而非直接去学习输入和输出之间的映射，使得深度网络更容易训练，当深度大于50，在3X3卷积运算前采用1X1降低计算量。