AlexNet(ImageNet2012,NIPS2012)
两块GPU稀疏连接,dropout,重叠池化,ReLU,LRN,数据增强(采样、PCA)。
60,000,000参数
ZFNet(ImageNet2013,ECCV2014)
一块GPU稠密连接,反卷积,可视化
VGG(ImageNet2014,ECCV2014)
部分架构1×1卷积核,最大池化,最末段3个全连接层
133million-144million
GoogLeNet(ImageNet2014,CVPR2015)
基于NiN,更深更宽(不增加计算负载),先前全连接->稀疏连接后把提取到的特征聚类成稠密子阵(参数更少,最大池化),1×1卷积核(降维,增加非线性),inception(不同大小卷积核(感受野)的输出拼接,随着layer的深入,为了提取更抽象的特征,大卷积核所占的比例将更大),训练阶段的辅助输出,batch normalization
ResNet(ImageNet2015,CVPR2016)
identity shortcut connection解决多层下的梯度消失问题