1.LeNet-5
2.AlexNet
AlexNet与LeNet有许多相似之处,但是AlexNet网络却要大得多,LeNet大约有6万个参数,而AlexNet有大约6000万个参数。AlexNet使用了ReLU激活函数,而LeNet则使用了Sigmoid函数。
3.VGG-16、VGG-19
4.GoogLeNet
GoogLeNet网络最大的特点就是去除了最后的全连接层,用平均全局池化层(即使用与图片尺寸相同的过滤器来做平均池化)来取代他。GoogLeNet的inception还在发展,目前已经有v2,v3,和v4版本。
Inception的核心思想是通过增加网络的深度和宽度的同时减少参数量的方法来解决问题。Inception v1有22层深,比AlexNet的8层或者VGGNet的19层更深。但其计算量只有15亿次浮点运算,同时只有500万的参数量,仅为AlexNet参数量(6000万)的1/12,却有着更高的准确率。
5.ResNet
每一个卷积层之后是批量正则化层(BN)