深度学习网络典型架构

lenet-5

约60k parameters
使用的是平均池化方法，激活函数有sigmoid/tanh

Alexnet

约60M parameters
相比于lenet-5,alexnet层数变多，引入了数据增强（随机裁剪，水平翻转；PCA变换去噪），LRN，dropout,重叠池化（引入更多特征），使用了Relu激活，momentum（修正：权重衰减）

vgg-16

16个卷积层和全连接层，约1.38亿个参数
vgg16相比于Alexnet网络深度增加，参数量巨大，但是减小了卷积核结构的复杂度，利用小卷积核代替大卷积核，尺寸抖动数据增强（每个图像在最小尺寸之间随机选取，然后裁剪训练），提出了xavier权重初始化
统一采用：

filter:3x3,stride:1,same
max pool:2x2 stride:2

inception（googlenet）

inception不需要人为设计卷积核尺寸及max-pooling层，由网络自己学习需要哪些参数及哪些过滤器组合
网络结构为增加网络宽度(多种尺寸（抓取不同尺寸特征）卷积核并行计算：1x1,3x3,5x5,3x3pooling)，增加预测分支（w:0.3），增加1x1卷积层(减少通道数)，但是计算成本较高

inception v2:提出了BN(可以使用更高的学习率，可以删除dropout,可以加速初始化)

inception v3：卷积尺寸分解，卷积非对称分解，reduction块（网格尺寸缩减：k通道—1x1卷积S=2，k通道—池化S=2），标签平滑正则化

inception v4：使用了专用的缩减块

inception resnet：采用残差连接代替inception块的池化连接

Xception

将通道相关性与尺寸相关性解耦，类深度可分离卷积（1x1卷积映射跨通道相关性，3x3卷积映射每个输出通道的空间相关性）

resnet

提出残差学习框架用于解决网络退化问题（有效路径相对较浅，有效路径占比较少）
随机深度网络：随机删除层

densenet

通过特征重用提升网络的学习能力

mobilenet

通过深度可分离卷积降低网络计算量（对每个通道计算featuremap,然后用1x1组合），减少了通道数融合的计算（计算量减少1/8到1/9）

shufflenet

逐点分组+通道混洗