卷积神经网络的变体

VggNet

2014年，牛津大学计算机视觉组和Google DeepMind公司的研究员一起研发的新的深度卷积神经网络：VggNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogLeNet,也是同年提出的）和定位项目的第一名。

VggNet探索了卷积神经网络的深度与其性能之间的关系，成功地构筑了16-19层深的卷积神经网络，证明了增加网络的深度能够再一定程度上影响完了过最终的性能，使错误率大幅下降，同时拓展性又很强，迁移到其它图片数据上的泛化性也非常好，到目前为止，VGG仍被用来提取图像特征。

分析上述网络结构：

1.输入224*224*3的图片，经过64个3*3的卷积核做两次卷积+ReLU，卷积后的尺寸变为224*224*64

2.做max pooling（最大化池化），池化单元尺寸为2*2（效果为图像尺寸减半），池化后尺寸变为112*112*64

3.经过128组3*3的卷积核做两次卷积+ReLU，尺寸变为112*112*128

4.做2*2的max pooling池化，尺寸变为56*56*128

5.经256组3*3的卷积核作三次卷积+ReLU，尺寸变为56*56*256

6.做2*2的max pooling池化，尺寸变为28*28*256

7.经512组3*3的卷积核做三次卷积+ReLU，尺寸变为28*28*512

8.做2*2的max pooling池化，尺寸变为14*14*512

9.经512组3*3的卷积核做三次卷积+ReLU，尺寸变为14*14*512

10.做2*2的max pooling池化，尺寸变为7*7*512

11.与两层1*1*4096，一层1*1*1000进行全连接+ReLU（共三层）

12.通过softmax输出1000个预测结果

VGG网络特点：

1.结构简洁

VGG由5层卷积层、3层全连接层，softmax输出层构成，层与层之间使用max-pooling（最大池化）分开，所有隐层的激活单元都采用ReLU函数。

2.小卷积和多卷积子层

VGG使用多个较小卷积核（3*3）的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于进行了更多的分线性因素，可以增加网络的拟合/表达能力。

小卷积核是VGG的一个重要特点，虽然VGG是在模仿AlexNet的网络结构，但没有采用AlexNet中比较大的卷积核尺寸（如7*7），而是通过降低卷积核的大小（3*3），增加卷积子层数来达到同样的性能（VGG：从1到4卷积子层，AlexNet：1子层）。

VGG的作者认为两个3*3的卷积堆叠获得的感受野大小，相当于一个5*5的卷积；而3个3*3卷积的堆叠获取到的感受野相当于一个7*7的卷积。这样可以增加非线性银蛇，也能很好地减少参数（例如7*7的参数为49个，而3个3*3的参数为27）。

3.小池化核

相比AlexNet的3*3的池化核，VGG全部采用2*2的池化核。

4.通道数多

VGG网络第一层的通道数为64，后面每层都进行了翻倍，最多到512个通道，通道数的增加，使得更多的信息可以被提取出来。

5.层数更深，特征图更宽

由于卷积核专注于扩大通道数，池化专注于缩小宽核稿，使得模型架构上更深更宽的同时，控制了计算量的增加规模。

6.全连接转卷积（测试阶段）

这也是VGG的一个特点，在网络测试阶段将训练阶段的三个全连接替换为三个卷积，使得测试得到的全卷积网络因为没有全连接的限制，因而可以接收任意宽或高的输入，这在测试阶段非常重要。

如输入图像是224*224*3，如果后面三个层都是全连接，那么在测试阶段就只能将测试的图像全部都要缩放大小到224*224*3，才能符合后面全连接层的输入数量要求，这样就不便于测试工作的展开。

全连接转卷积，替换过程如下：

       

Google Net

2014年，GoogleNe和VGG是当年ImageNet挑战赛（ILSVRC14）的双雄，GoogLeNet获得的第一名、VGG获得了地二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogleNet则做了更大大胆的网络结构尝试，虽然深度只有22层，但大小却比AlexNet和VGG小很多，GoogleNet参数为500万个，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此子啊内存或计算资源有限时，GoogleNet是比较好的选择，从模型结果来看，GoogleNet的性能却更加优越。

GoogleNet是如何进一步提升性能的呢？

一般来说，提升网络性能最直接的办法就是增加网络深度和宽度，深度指网络层次数量、宽度指神经元数量。但这种方式存在以下问题：

（1）参数太多，如果训练数据集有限，很容易产生过拟合

（2）网络越大，参数越多，计算复杂度越大，难以应用

（3）网络越深，容易出现梯度弥散问题（梯度越往后穿越容易消失），难以优化模型。

所以，有人调侃“深度学习”其实是“深度调参”。

解决这些问题的方法当然就是在增加网络深度和宽度的同时减少参数，为了减少参数，自然就想到将全连接变成稀疏链接。但是在实现上，全连接变成稀疏链接后实际计算量并不会有质的提升，因为大部分硬件是针对密集局长计算优化的，稀疏矩阵虽然数据量少，但是计算所消耗的时间却很难减少。

那么，有没有一种既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，就如人类的大脑是可以看作是神经元的重复堆积，因此，GoogleNet团队提出了Inception网络结构，就是构造一种“基础神经元”结构，来搭建一个稀疏性、高计算性能的网络结构。

什么是Inception呢？

Inception经历了V1、V2、V3、V4等多个版本的发展，不断趋于完善，下面进行一一介绍：

一、Inception V1

通过涉及一个稀疏网络结构，但是能够产生稠密的数据，既能增加神经网络表现，又能保证计算资源的使用效率。谷歌提出最原始的Inception的基本结构：

该结构将CNN中常用的卷积（1*1，3*3，5*5）、池化操作（3*3）堆叠在一起（卷积、池化后的尺寸相同，将通道相加），一方面增加了网络的宽度，另一方面也增加了网络对尺度的适应性。

网络卷积层中的网络能够提取输入的每一个细节信息，同时5*5的滤波器也能够覆盖大部分接受层的输入。还可以进行一个池化操作，以减少空间大小，减低过度拟合。在这些层之上，在每一个卷积层后都要做一个ReLU操作，以增加网络的非线性特征。

然而这个Inception的原始版本，所有的卷积核都在上一层的输出上来做，而那个5*5的卷积核所需的计算量就太大了，造成了特征图的厚度很大，为了避免这种情况，在3*3前、5*5前、maxpooling后分别加上了1*1的卷积核，以起到了降低特征图厚度的作用，这也就形成了Inception V1的网络结构，如下图所示：

1*1的卷积核有什么用？

1*1卷积的主要目的是为了减少维度，还用于修正线性激活（ReLU）。比如，上一层的输出为100*100*128，经过具有256个通道的5*5卷积层之后（stride=1,pad=2)，输出数据为100*100*256，其中，卷积层的参数为128*5*5*256=819200。而加入上一层经过具有32个通道的1*1卷积层，再经过具有256个输出的5*5卷积层，那么输出数据仍为100*100*256，但卷积参数量已经减少为128*1*1*32+32*5*5*256=204800，大约减少了4倍。

0、输入

原始输入图像为224*224*3，且都进行了零均值化的预处理操作（图像每个像素减去均值）。

1、第一层（卷积层）

使用7*7的卷积核（滑动步长为2，padding为3），64通道，输出为112*112*64，卷积后进行ReLU操作

经过3*3的max pooling（步长为2），输出为（（112-3+1）/2）+1=56，即56*56*64，再进行ReLU操作

2、第二层（卷积层）

使用3*3的卷积核（滑动步长为1，padding为1），192通道，输出为56*56*192，卷积后进行ReLU操作

经过3*3的max pooling（步长为2），输出为（（56-3+1）/2）+1=28，即28*28*192，再进行ReLu操作

3a、第三层（Inception 3a层）

分为四个分支，采用不同尺度的卷积核来进行处理

（1）64个1*1的卷积核，然后ReLU，输出28*28*64

（2）96个1*1的卷积核，作为3*3卷积核之前的降维，变成28*28*96，然后进行ReLU计算，再进行128个3*3的卷积（padding为1），输出28*28*128

（3）16个1*1的卷积核，作为5*5卷积核之前的降维，变成28*28*16，进行ReLU计算后，再进行32个5*5的卷积（padding为2），输出28*28*32

（4）pool层，使用3*3的核（padding为1），输出28*28*192，然后进行32个1*1的卷积，输出28*28*32.

将四个结果进行连接，对这四部分输出结果的第三维并联，即64+128+32+32=256，最终输出28*28*256

3b、第三层（Inception 3b层）

（1）128个1*1的卷积核，然后ReLU，输出28*28*128

（2）128个1*1的卷积核，作为3*3卷积核之前的降维，变成28*28*128，进行ReLU，再进行192个3*3的卷积（padding为1），输出28*28*192

（3）32个1*1的卷积核，作为5*5卷积核之前的降维，变成28*28*32，进行ReLU计算后，再进行96个5*5的卷积（padding为2），输出为28*28*96

（4）pool层，使用3*3的核（padding为1），输出28*28*256，然后进行64个1*1的卷积，输出28*28*64。

将四个结果进行连接，对这四部分输出结果的第三维并联，即128+192+96+64=480，最终输出为28*28*480

第四层（4a、4b、4c、4d、4e）、第五层（5a、5b）.......与3a、3b类似，再次不再重复。

为了避免梯度消失难以训练，采用多重损失函数。

二、Inception V2

GoogleNet凭借其优秀的表现，得到了很多研究人员的学习和使用，因此GoogleNet团队有对其进行了进一步地发展改进，产生了升级版本的GoogleNet。

GoogleNet设计的初衷就是要又准又快，而如果只是单纯的堆叠网络虽然可以提高准确率，但是会导致计算效率有明显的下降，所以如何再不增加过多计算量的同时提高网络的表达能力就成为了一个问题。

1、卷积分解（Factorizing Convolutions）

大尺寸的卷积核可以带来更大的感受野，但也意味着会产生更多的参数，比如5*5卷积核的参数有25个，3*3的卷积核的参数有9个，前者是后者的25/9=2.78倍。因此，GoogleNet团队提出可以用2个连续的3*3卷积层组成的小网络来代替单个5*5卷积层，即再保持感受野范围的同时又减少了参数量，如下图所示：

2、Batch Norm

对每维进行标准化，减均值，除方差

 

三、Inception V3

Inception V3一个最重要的改进是分解（Factorization），将7*7分解成两个一维的娟姐（1*7，7*1），3*3也是一样（1*3，3*1），这样的好处，既可以加速计算，又可以将1个卷积拆成2个卷积，使得网络深度进一步增加，增加了网络的非线性（每增加一层都要进行ReLU）。

四、Inception V4

Inception V4主要利用残差连接（Residual Connection）来改进V3结构，得到Inception-ResNet-V1，Inception-ResNet-v2,Inception-v4网络。