vgg论文启发

一、论文关键点
1.在一定范围内，通过增加深度能有效地提升网络性能；
2.最佳模型：VGG16，从头到尾只有3×3卷积与2×2池化，简洁优美；
3.多个小卷积核比单个大卷积核性能好（与alexnet对比可知）；
4.尺度抖动scale jittering(多尺度训练，多尺度测试)有利于网络性能的提升。
5.模型融合，训练数据产生方式（各向同性缩放、各向异性缩放、随机裁剪等），测试方式（multi-crop和dense evaluation），全连接转卷积。
二、CNN基础知识
1.感受野（注:感受野是映射回原图的）
输入原始图大小为7×7
conv1：3×3(卷积核大小)，stride=1(步长)，valid方式
feature：(7-3+1)/1=5(conv1特征图大小)
conv2：3×3(卷积核大小)，stride=1(步长)，valid方式
feature：(5-3+1)/1=3(conv2特征图大小)

(1)原始输入感受野：1（1×1）
(2)conv1层感受野：3（3×3）第一行第一个格子对应原始图3×3红色框，第一行第二个格子对应原始图3×3绿色框，第一行第三个格子对应原始图3×3黑色框。
(3)conv2层感受野：5（5×5）第一行第一个格子对应conv2特征图3×3黄色框，接着对应原始图5×5的框（未画出）。
2.关于微调
神经网络浅层学习的是通用特征即基础特征，比如边缘、轮廓颜色等特征。深层是针对特定数据的更抽象的特征，对于人脸来说可能就是某个人的脸。全连接层就是对特征进行组合并评分分类。
我们可以利用网络前几层学习到的通用特征，仅让网络学习数据的抽象特征，节约资源和时间。

以下图片引用自深度之眼

微调（Fine-Turning）：迁移学习策略取决于多种因素，但最重要的两个是新数据集的大小以及新数据集与原数据集的相似度。以下是4个主要情景：
（1）新数据集小，内容上相似：在这种情况下，通常我们只要训练最后的输出层，即最后一层，因为可能分类的数量不同，最后一层需要做修改。（平时最常见）
（2）新数据集大，内容上相似：这是最理想的情况，我们可以微调整个网络，因为数据量足够大不用担心过拟合。
（3）新数据集量小，内容不相同：由于数据较小，且相似度低，这种情况使用微调效果不是很好，可以尝试冻结前边大部分卷积层，重新训练网络的高层卷积层及全连接层。
（4）新数据量大、内容不相同：由于数据集很大，且相似度比价低，最好不要使用预训练模型，从头开始训练整个网络。