深度学习之CNN网络结构

由于深度学习的方便灵活，其受到了CV以及NLP领域的的极大关注，特别是CV领域，随着深度学习网络结构的层出不穷，CV领域的baseline被极大地提升。本文回顾总结CV领域中几种网络结构的特点及其动机。
大体有两个方向：1）有效加深网络，2）网络轻量化。

1、LeNet
2层卷积，3层全连接层，现在看来该网络稀松平常、没有任何特点，但是在当时，LeNet是开创性的工作。

2、AlexNet （2012）
5层卷积，3层全连接层。和LeNet相比，第一，层数增多，第二，使用了ReLu激励函数。

3、VGG16/19
16或19层，全部使用小卷积核（两个$3\times 3$核代替一个$5\times 5$卷积核），引入$1\times 1$卷积核。

4、GoogLeNet/Inception
22层，多尺度卷积，然后串接，Global Ave Pool 取代 FC， 辅助分类器
主要特点就是多尺度小卷积核，串接结果。减少参数，提高网络表达能力。3x3和5x5的卷积是想要提取不同尺度的特征，3x3卷积和5x5卷积之前的1x1的卷积作用是减少channel，从而降低参数量。下图为Inception v1结构：

[ref] https://www.cnblogs.com/Peyton-Li/p/11201038.html
5、ResNet
残差学习模块，快捷连接Shortcut connection，也叫做skip connection。

极深网络使用，网络很深时，发生退化现象。不是过拟合，也不是梯度消失和爆炸。利用残差模块解决网络退化的直接动机是，如果增加层被构建为恒等映射，则其性能应该不低于原始网络。残差模块假设学习特定映射的残差比学习特定映射本身容易的多，学习完残差，然后加上恒等映射则得到特定映射。
6、SqueezeNet（挤压网络）
实际依然是多尺度卷积串接。

7、mobileNet
深度分离卷积
将卷积$K\times K\times D_{in}\times D_{out}$分解为两步：先进行$K\times K\times D_{in}\times 1$卷积，然后进行$1\times 1\times 1\times D_{out}$卷积。这样参数量大大减少，计算量也减少。而感受野与卷积结果形状不变。
8、ShuffleNet
分组卷积和洗牌模块。
分组卷积可以进一步减少计算量，通道分组后组内分别卷积，为了组之间的交互，将所有组卷积结果打乱，继续分组卷积。

9、Squeeze-and-Excitation Net(挤压和提取网络)
本质上是通道间的attention或者gating操作。将特征图进行全局池化操作，得到通道级别的特征，然后输入全连接层，学习通道间的重要性权重，最后将权重应用到原始特征图上，来抑制或者增强某些通道的信息流。

出现的重要技术：

1、如何降低卷积计算量：

1） $1\times 1$卷积
可以提升通道和降低通道数，减小计算量，增加了网络表达能力。
2）5x5卷积可以依次利用两个3x3卷积实现。
主要指的是训练计算量，由于参数数量减少，权重更新操作计算量减少，因此减少了计算量。但是就前向传播和反向传播而言，计算量并没有减少。因为原来$5\times 5$的卷积需要计算25次乘法得到一个卷积值，而转化为两个$3\times 3$卷积后需要$9\ast 9+9=90$次乘法得到一个卷积值。
3）卷积核分解：5x5卷积可以依次利用5x1和1x5卷积实现。
4）深度分离卷积：$K\times K\times C_{in}\times C_{out}$ 可以分解为$K\times K\times C_{in}$逐深度（通道）卷积和 $1\times 1\times C_{in}\times C_{out}$逐点卷积的依次使用。逐深度卷积是一个很特殊的卷积，其卷积核只有3维，其通道数和特征图的通道数相同，各个通道分别独立卷积。而逐点卷积属于一般的4维卷积核，现在常用改变特征图的通道数。
该方法分别对应多通道卷积所包含的两个效果：1）卷积效果，2）通道结合效果。
5) 分组卷积
进一步减低计算量，需要结合打乱操作。

2、集成:

1）网络集成
2）输入集成，
10 views（multi-crop），单网络多次预测
多尺度预测方法（dense评估），单网络单次预测
3）多尺度数据增强，

参考文献：
[1] https://www.cnblogs.com/liaohuiqiang/p/9606901.html