图像分类的base model

AlexNet（ImageNet2012，NIPS2012）

两块GPU稀疏连接，dropout，重叠池化，ReLU，LRN，数据增强（采样、PCA）。
60,000,000参数

ZFNet（ImageNet2013，ECCV2014）

一块GPU稠密连接，反卷积，可视化

VGG（ImageNet2014，ECCV2014）

部分架构1×1卷积核，最大池化，最末段3个全连接层
133million-144million

GoogLeNet（ImageNet2014，CVPR2015）

基于NiN，更深更宽（不增加计算负载），先前全连接->稀疏连接后把提取到的特征聚类成稠密子阵（参数更少，最大池化），1×1卷积核（降维，增加非线性），inception（不同大小卷积核（感受野）的输出拼接，随着layer的深入，为了提取更抽象的特征，大卷积核所占的比例将更大），训练阶段的辅助输出，batch normalization

ResNet（ImageNet2015，CVPR2016）

identity shortcut connection解决多层下的梯度消失问题

Wide Residual Networks(BMVC2016)，ResNeXt(cvpr2017)和MobileNet等，ResNet变体

DenseNet(CVPR2017)，ShuffleNet，DPN(NIPS2017)