Tensorflow实现VGGNet-16

---

VGGNet通过反复堆叠3x3的小型卷积核和2x2的最大池化层，构筑了16~19层深的神经网络。在错误率大大降低的同时扩展性很强，迁移到其它图片数据上的泛化能力很好，而且结构简单。

VGGNet拥有从A到E的五个级别，每一级网络都比前一级根深，但是参数并没有增加很多，因为卷积部分消耗参量不大，主要在全连接层。D和E就是常说的VGGNet-16和VGGNet-19。

VGGNet拥有5段卷积，每一段卷积内有2~3个卷积层，同时每段尾部都会连接一个最大池化层用来缩小图片尺寸，5段卷积后有3个全连接层，然后通过softmax(）来预测结果。

---

总结一些关键点：

1. 在级别C中有几个1x1的卷积层，1x1的卷积的意义主要在于线性变换，因为输入通道数和输出通道数不变，没有发生降维。
2. VGGNet中经常出现多个完全一样的3x3的卷积层堆叠在一起的情况，因为两个3x3的卷积层串联相当于1个5x5的卷积层，即一个像素会跟周围5x5的像素产生联系，可以说感受视野大小为5x5。
   首先，2个串联的3x3卷积层（2x9个参数）拥有比1个5x5的卷积层(25个参数）更少的参数量；其次，2个串联的3x3卷积层（使用2次ReLU激活函数）拥有比1个5x5的卷积层（使用1次ReLU激活函数）更多的非线性变换，使得学习能力更强。
3. 使用Mutlti-Scale的方法做数据增强，将原始图像缩放到不同的尺寸S然后随机剪裁程224x224的图片，这样可以增加更多的数据量，对防止模型过拟合有很不错的效果。
   同时作者另S的取值在[256, 512]这个区间内取值，可以获得更多版本的数据，然后一起训练。
4. VGGNet的模型参数虽然比AlexNet多，但反而只需要较少的迭代次数就可以收敛，主要原因是更深的网络和更小的卷积核带来的隐式的正则化效果。

作者提出了以下几个观点：
1. LRN层作用不大
2. 越深的网络效果越好
3. 1x1的卷积也是很有效的， 但没有3x3的卷积好，大一些的卷积核可以学习更大的空间特征。

---

输入是224x224x3的图像，下面是每一层的大小：
conv1_1 [32, 224, 224, 64]
conv1_2 [32, 224, 224, 64]
pool1 [32, 112, 112, 64