各卷积神经网络模型亮点

LeNet

特色：
1.由两个卷积层两个池化层，两个全连接层组成

AlexNet

特色：
1.局部响应归一化
2.用多个gpu进行运算
3.由五个卷积层、两个池化层和三个全连接层组成
4.使用RELU激活函数，而不是传统的tanh函数或sigmoid函数
5.使用dropout随机失活函数

VGG

特色：
1.用两个33的卷积核代替一个55的卷积核
2.用三个33的卷积核代替一个77的卷积核
堆叠多个3*3的卷积核来替代大尺度卷积核（减少所需参数）

GoogLeNet

特色：
1.采用inception结构

2.采用辅助分类器
3.使用1*1的卷积核进行降维以及映射处理
4.丢弃全连接层，使用平均池化层

ResNet

特色：
1.采用residual模块
2.超深的网络结构
3.使用BatchNormalization加速训练

DenseNet

特色：
1.采用denseblock结构
2.bootleneck或transitionlayer