lenet-5
约60k parameters
使用的是平均池化方法,激活函数有sigmoid/tanh
Alexnet
约60M parameters
相比于lenet-5,alexnet层数变多,引入了数据增强(随机裁剪,水平翻转;PCA变换去噪),LRN,dropout,重叠池化(引入更多特征),使用了Relu激活,momentum(修正:权重衰减)
vgg-16
16个卷积层和全连接层,约1.38亿个参数
vgg16相比于Alexnet网络深度增加,参数量巨大,但是减小了卷积核结构的复杂度,利用小卷积核代替大卷积核,尺寸抖动数据增强(每个图像在最小尺寸之间随机选取,然后裁剪训练),提出了xavier权重初始化
统一采用:
filter:3x3,stride:1,same
max pool:2x2 stride:2
inception(googlenet)
inception不需要人为设计卷积核尺寸及max-pooling层,由网络自己学习需要哪些参数及哪些过滤器组合
网络结构为增加网络宽度(多种尺寸(抓取不同尺寸特征)卷积核并行计算:1x1,3x3,5x5,3x3pooling),增加预测分支(w:0.3),增加1x1卷积层(减少通道数),但是计算成本较高
inception v2:提出了BN(可以使用更高的学习率,可以删除dropout,可以加速初始化)
inception v3:卷积尺寸分解,卷积非对称分解,reduction块(网格尺寸缩减:k通道—1x1卷积S=2,k通道—池化S=2),标签平滑正则化
inception v4:使用了专用的缩减块
inception resnet:采用残差连接代替inception块的池化连接
Xception
将通道相关性与尺寸相关性解耦,类深度可分离卷积(1x1卷积映射跨通道相关性,3x3卷积映射每个输出通道的空间相关性)
resnet
提出残差学习框架用于解决网络退化问题(有效路径相对较浅,有效路径占比较少)
随机深度网络:随机删除层
densenet
通过特征重用提升网络的学习能力
mobilenet
通过深度可分离卷积降低网络计算量(对每个通道计算featuremap,然后用1x1组合),减少了通道数融合的计算(计算量减少1/8到1/9)
shufflenet
逐点分组+通道混洗