VGGNet理解及TensorFlow实现

• 本文原理内容大部分为 https://www.jianshu.com/p/5412d1dec69d 介绍
• TensorFlow实现参考《TensorFlow实战》

1. 介绍

VGGNet是牛津大学计算机视觉组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠$3\times 3$的小型卷积核和$2\times 2$的最大池化层，VGGNet成功地构筑了16~19层深的卷积神经网络。
VGGNet相比之前最好的网络结构，错误率大幅下降，并取得了ILSVRC 2014比赛分类项目的第2名和定位项目的第1名。同时VGGNet的扩展性很强，迁移到其他图片数据上的泛化性非常好。VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积尺寸（$3\times 3$）和最大池化尺寸($2\times 2$)。VGGNet训练的模型参数在其官方网站上开源，可以在domain specific的图像分类任务上进行再训练（提供了非常好的初始化权重），因此被用在了很多地方。

2. 网络结构

VGGNet论文中全部使用了$3\times 3$的卷积核和$2\times 2$的池化核，通过不断加深网络结构来提升性能。

图1.VGGNet各级别网络结构图

图2.VGGNet各级别网络参数量（单位为百万）

注意：

1. 如图1所示。为了评估深度对于网络性能的影响，文中设计了好几种不同深度的网络结构。最浅的网络有11层，最深的有19层，其中，所有的网络模型结构最后三层都是全连接层，其余都是卷积层。
2. 如图2 所示，虽然从A到E每一级网络逐渐变深，但是网络参数量并没有增长很多（参数量主要都消耗在最后的3个全连接层）。卷积参数的消耗量不大，但训练比较耗时，计算量较大。
3. D、E是我们常说的VGGNet-16以及VGGNet-19。
4. C比B多了$1\times 1$的卷积，主要用于线性变换，而输入通道数和输出通道数一样，没有发生降维。

为什么使用$3\times 3$的卷积核？

图3.两个串联3*3的卷积层功能类似于一个5*5的卷积层

如图3所示，两个$3\times 3$的卷积层串联相当于1个$5\times 5$的卷积层，即一个像素会跟周围$5\times 5$的像素产生关联，感受野的大小为$5\times 5$。而3个$3\times 3$的卷积层串联的效果则相当于1个$7\times 7$的卷积层。除此之外，3个串联的$3\times 3$的卷积层，拥有比1个$7\times 7$的卷积层更少的参数量，只有后者的$\frac{3\times 3\times 3}{7\times 7}=55\%$。
重要的是，3个$3\times 3$的卷积层拥有1个比$7\times 7$的卷积层更多的非线性变化（前者可以使用三次ReLU激活函数，而后者只有一次），使得CNN对特征的学习能力更强。

$1\times 1$的卷积核有什么作用？

在不影响卷积层的感受野的情况下，为模型引入更多的非线性（非线性激活函数的使用）。

3. 训练和测试细节

训练

• batch size为256，momentum设置为0.9，权重衰减系数为0.0005。
• 前两层全连接层使用Dropout，Dropout比例为0.5。
• 学习率初始时为0.01，当验证集的准确率停止提高时，学习率除以10。最终学习率降低了三次以后，网络就收敛了。
• 虽然和AlexNet相比，VGGNet的参数更多、深度更深，但是却收敛的更快。原因有两点，一是前面提到的更深的层和更小的卷积核相当于隐式的进行了正则化；二是在训练期间对某些层进行了预初始化。
• 对于深度网络来说，网络权值的初始化十分重要。为此，论文中首先训练一个浅层的网络结构A，训练这个浅层的网络时，随机初始化它的权重就足够得到比较好的结果。然后，当训练深层的网络时，前四层卷积层和最后的三个全连接层使用的是学习好的A网络的权重来进行初始化，而其余层则随机初始化。这也就是上一点提到的某些层的预初始化。(随机初始化权重时，使用的是0均值，方差0.01的正态分布；偏置则都初始化为0)。
• 首先将图像各向同性的缩放，使得最短边缩放至S($S\ge 224$)，由于要求输入是$224\times 224$大小的，所以再对缩放后的图像进行crop。至于S的取值，论文提出了两种不同的方法：

1. 固定的尺度，对所有的图片，S都是固定的同样的值。论文考察了S=256和S=384两种情况下分别训练得到的网络的性能。为了加速，训练S=384的网络时，使用训练好的S=256的网络来初始化权重，并且学习率更小，为0.001。
2. 可变的尺度，设置一个范围[ S m i n S_{min}