LeNet
特色:
1.由两个卷积层两个池化层,两个全连接层组成
AlexNet
特色:
1.局部响应归一化
2.用多个gpu进行运算
3.由五个卷积层、两个池化层和三个全连接层组成
4.使用RELU激活函数,而不是传统的tanh函数或sigmoid函数
5.使用dropout随机失活函数
VGG
特色:
1.用两个33的卷积核代替一个55的卷积核
2.用三个33的卷积核代替一个77的卷积核
堆叠多个3*3的卷积核来替代大尺度卷积核(减少所需参数)
GoogLeNet
特色:
1.采用inception结构
2.采用辅助分类器
3.使用1*1的卷积核进行降维以及映射处理
4.丢弃全连接层,使用平均池化层
ResNet
特色:
1.采用residual模块
2.超深的网络结构
3.使用BatchNormalization加速训练
DenseNet
特色:
1.采用denseblock结构
2.bootleneck或transitionlayer