vgg：very deep convolutional networks for Image recognition

VGG

摘要

1.简介

2.网络配置

    2.1结构

2.2配置

2.3讨论

3.分类框架

3.1.训练

3.2测试

4.分类实验

4.1单尺度评估

4.2多尺度评估

4.3多裁剪图像评估

 

摘要

        VGG通过使用3*3的卷积核增加了网络的深度到16-19，与之前大的卷积核相比，多个小的卷积核叠加，有着相同的感受野，却大大减少了参数的数目。比在2014 ImageNet Challenge比赛中取得了localizations(定位)第一名和classification(分类)第二名的好成绩。分类第一名是alexnet.另外，vgg在其他数据集上表现也很好。

1.简介

     近年来，为了增加准确率，人们使用了多个方法：

           1）使用更小的感受窗口和第一个卷积层使用小的步长

2）在整张图片和多尺度（multiple scales）上对网络进行密集训练和测试。

3）增加深度：使用3*3卷积核（vgg net）

2.网络配置

2.1结构

1）数据的预处理：图片大小为224*224,同alexnet中，每个像素减去整个训练集上RGB的均值

2）使用3*3卷积核，卷积步长为1

3）在其中一种网络配置中使用1*1卷积核，对输入进行线性变换，使得输入和输出具有相同的维度，增加了网络的学习能力。

4）使用5个池化层（max-pool），池化核为2*2，且步长为2

5）三个全连接层，

6)使用relu激活函数，不具有LRN

2.2配置

      卷积核从64，没经过一个max-pool,增加两部，直到512

2.3讨论

      VGG16 全部使用3*3的感受野，步长为1，两个3*3卷积的堆叠相当与5*5的有效感受野，三个3*3卷积堆叠相当于7*7有效感受野。使用多个3*3感受野的叠加，可以使得决策函数更具有判别性，而且可以减少参数。其次对于配置C使用了1*1的卷积核，不仅仅增加了非线性而不改变卷积层的感受野，但减少或保持了输入层的信道。1*1卷积首次使用在network in network

        gooleNet在2014ILSVRC分类任务中取得了第一名，共有22层，它使用了3*3，1*1，5*5这些小的卷积核，此外，它在第一层中特征图的空间分辨率减少的更多，以减少计算量。

3.分类框架

3.1.训练

      使用momentum梯度下降法，batch-size为256，在最后的全连接层使用dropout(dropout ratio=0.5),学习率初始设为0.01，当验证集的正确率停止改善时，学习率减少10倍，学习率共减少3次。

       初始化神经网络的权重特别重要，我们先训练浅层的神经网络配置A,当训练深层网络时，我们使用配置A的前四个卷积层和后三个全连接层，中间层随机初始化，从均值为0和方差为10−210−2的正态分布中采样权重，偏置初始化为零。

      使用两种方法来设置训练尺度S,第一是固定S,S有两种尺度，S=256,384,首先训练S=256，为了加速S=384的训练，我们使用S=256的权重用于S=384的初始化，并把学习率设为0.001。第二种方法是多尺度（multiple scale）的训练尺度S,使用变长的输入尺寸S,其中S是一个区间[Smin,Smax]

3.2测试

       测试时，我们最后的全连接层变成卷积层，也就是一个全卷积网络，然后把全卷积网络应用于整张图片上。我们使用水平翻转做图像增强，同时依旧是对多个输入在softmax层做平均输出 。

4.分类实验

4.1单尺度评估

       当训练尺度S固定：测试尺度Q=S；；当训练尺度S不固定，即S是一个区间[Smin,Smax]，Q=0.5*(Smin+Smax)。

       实验表明LRN层并没有改善正确率。其次配置C中使用了1*1卷积，配置D实验3*3，但配置C结果并没有D号，表明更大的感受野可以很好的捕捉上下文。但C又优于B,表明额外的非线性确实有帮助。最后训练尺度S抖动取得了更好的效果。

4.2多尺度评估

      对于固定的训练尺度S,使用Q=S-32,S,S+32三个尺度评估，对于S在[Smin,Smax]之间，采用Q = {Smin, 0.5(Smin + Smax), Smax}.实验表明尺寸抖动的模型是要优于不带抖动的。

4.3多裁剪图像评估

       实验表明多裁剪评估（multiple crop evaluation）比密集评估（dense ConvNet evaluation）效果更好，密集评估即在整张图片上，使用全卷积网络评估。而且这两种方法确实是互补的，因为它们的组合优于其中的每一种。