（VGG）VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION（VGG）

1.特点：
（1）可以看到共有5个池化层,所以可以把卷积部分视为5个部分,和AlexNet一样,只不过每一个部分他用了不止一层卷积层。
（2）所有卷积层都是同样大小的filter!尺寸3x3,卷积步长Stirde = 1,填充Padding = 1!
为什么这么搞?
A、3x3是最小的能够捕获左、右、上、下和中心概念的尺寸;
B、两个3x3的卷积层连在一起可视为5x5的filter,三个连在一起可视为一个7x7的
C、多个3x3的卷积层比一个大尺寸的filter卷积层有更多的非线性,使得判决函数更加具有判断性。
D、多个3x3的卷积层比一个大尺寸的filter具有更少的参数。

(3). 卷积层变多了。16层卷积层,加上全连接层共19层
3. 3个全连接(FC)层：前两层各有4096个通道，第三层用于做1000类的ILSVRC分类因而有1000个通道。最后一层是softmax层。
4. 所有的隐藏层都进行ReLU操作, 所有网络中只有一个使用了LRN（LRN参数和ALexNet中相同）,LRN并不会提高在ILSVRC上的准确度但会增加内存消耗和计算时间
5. 第一层: 使用了更小的(3x3，步长为1)的卷积核,（3x3是最小的可以感知上下左右中心的尺寸），不同于前两年的ILSVRC的优胜者(2012-AlexNet: 11x11步长4,
6. 3x3小卷积的好处有两个，以用3个3x3卷积替代一个7x7卷积为例：
(1)3个卷积层就可以做3次ReLU等非线性操作而不是1次，这使模型Capacity增加了。（增加了非线性），使决策函数更有判别性
(2)多个小卷积叠加带来的是更少的参数量，如果每个卷积层输入输出都有C个通道，则3个3x3卷积层权重数为3(3^2C2)=27C^{2,而单一的7x7卷积层权重数为77C}2=49*C^2
(3) 增加1x1卷积核（网络C）可以在不用影响卷积层感受野的同时增加决策函数的非线性。虽然1x1的卷积操作是线性的（1x1卷积核的输入与输出大小相同），但是ReLu增加了非线性。

7. 训练的时候，使用尺寸抖动，即对多个尺度的图像进行训练，要比只训练单尺度的图像效果要好；
   测试的时候，使用尺度抖动，即对多个尺度的图像进行评估，取平均值，效果比单尺度测试要好；
   测试的时候，使用dense 和 multi-crop方法对测试图像进行采样，效果会提升；
   测试的时候，使用多个模型融合，效果会变好。
8. 卷积层宽度(通道数)从64到512，每经过一次池化操作扩大一倍。虽然随着网络的深度变深，但是网络的参数数量并没有比那些浅层的使用大卷积核的网络参数要多。