【论文】VGG

主要成果：

1.研究深度与精度关系

2. 3*3卷积，1*1

3. 16-19层

4. 定位冠军，分类亚军

5. 公开模型

研究背景：

1.CNN（Alexnet）

2.小卷积（ZFNet）

3.Dense稠密测试（OverFeat）

4.1*1卷积（NIN）（VGG中用了两处，第一次是D模型增加非线性，第二次是稠密测试）

改进点：

1.小卷积核，2个3*3 等价5*5，3个3*3 等价7*7（感受野的等价）作用：节约参数，3个3*3比1个7*7节省81%参数（49-27）/27=81%；1*1卷积增加非线性

（1）3x3是最小的能够捕获左、右、上、下和中心概念的尺寸；

（2）节约参数，3个3*3比1个7*7节省81%参数（49-27）/27=81%

（3）1*1卷积，增加非线性（精度有所提升），后用3*3卷积替代1*1，做相同的功能模块

 

2.初始化网络（一开始，深层网络用训练好的浅层网络初始化；后证明，直接用Xavier初始化更好）

3.尺度扰动(training)

4.模型层数更深效果更好

5.用实验证明，Local Response Normalisation(LRN) 没什么用。它是兴奋的神经细胞抑制周围神经细胞的能力，用于减少神经元（googlenet中BN替代了LRN）

6.多尺度及Dense+Multi crop(test)

数据预处理：

1. 224*224（尺寸设置）

2. 减均值（凸显个体差异）

3.S为resize后最小边

设置S的两种方法

1. 固定值：如256/384（对于384预训练是用256的预训练）

2. 随机值：[256,512]（随机的预训练是用384进行预训练）

结构：

1. 3*3、 1*1卷积

2. 卷积不改变分辨率

3. 2*2池化，stride=2

4.FC层 4096-4096-1000

5.结构演化，借鉴Goodfellow (2014) 11 weight layers,所以从11层开始，B模型证明LRN没用，D模型证明利用小卷积可以增加非线性。

6.结构随着深度的增加并没有增加太多参数

7. 卷积不改变分辨率，有边缘填充。padding=1

训练参数设置：

bs=256,m=0.9

L2 = 5*e-4（正则化，防止过拟合）

lr=0.01（loss）

准确率不下降，lr下降

max_epoch=74

训练技巧：

1.初始化网络（一开始，深层网络用训练好的浅层网络初始化；后证明，直接用Xavier初始化更好）

2.尺度扰动（先把图片缩放到S，再随机的对图片进行裁剪为224*224）

3.不同尺度策略预训练参数借鉴，达到加速效果

S = 384. Given a ConvNet confifiguration, we fifirst trained the network using S = 256.

384的尺寸用256训练好的参数

For speed reasons, we trained multi-scale models by fifine-tuning all layers of a single-scale model with the same confifiguration,pre-trained with fifixed S = 384

随机尺度的用384的训练参数

4.4个GPU TITAN 2-3周，再imageNet上训练

测试阶段

1.稠密测试（全连接变卷积达到任意尺寸图片可以进行测试（非224*224））

2. 均值化（the class score map is spatially averaged (sum-pooled).）

3. 水平镜像

4.alexnet的tencrop有重复计算

5. multi-crop与dense互补

其中:multi-crop：150张 5*5 *2 *3 = 150,每列/行分成5个部分裁剪

networks using 50 crops per scale (5 × 5 regular grid with 2 flflips), for a total of 150 crops over 3 scales

固定时，Q ={S S32, S, S + 32}.随机时，Q = {Smin, 0.5(Smin + Smax), Smax}

multi-crop evaluation is complementary to dense evaluation due to different convolution boundary conditions

6.训练时，尺度扰动可提升精度

对于多尺度初始化它在论文中单独作了对比：

1. 深度越深，效果越好

2. 多尺度扰动对模型准确率有提升