【论问阅读】VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

一、

    这篇文章，论文写的读起来很舒服，实验做的非常细，以前一直没看，看了之后发现，现在用的很多方法，都是人家玩剩下的。

二、主要内容

       探索更深的网络、探索小卷积核3x3、探索比对训练与测试

三、VGG主要架构

                                               

    基本上我们只知道VGG有两个模型，16层和19层。但是其实人家还是有很多的版本的，这些版本的存在主要有两个作用：

    1、作者实验方便，利用小网络可以做更多的实验

    2、小网络作为大网络的pre-trained model 部分参数（作者也提到了，其实不一定非要pre train，原话“e biases were initialised with zero. It is worth noting that after the paper submission we found that it is possible to initialise the weights without pre-training by using the random initialisation procedure of Glorot & Bengio (2010)”）

    3、在这篇文章之前的，文章种大多数都会采用大卷积核“11x11、7x7” 也会用比较大的stride “4，2”，作者采用多个“3x3”的矫正层作为组合，为了让这个“层-决策函数”更加的有区分性

    4、参数的初始化非常重要，比较深的网络在本文种都是采用前一个比较小的网络作为pre - trained model，最小的那个网络就是全部都是随机初始化的了，“不好的初始化方法，会导致深度梯度的不稳定，从而停止训练”。For random initialisation (where applicable), we sampled the weights from a normal distribution with the zero mean and 10−2 variance. The biases were initialised with zero.

   5、对于尺度作者也做了详细的实验：

         i、先用single scale训练小尺度

         ii、大尺度基于小尺度预训练，可以提高收敛速度

        iii、随机多尺度增广训练方案，也是先基于大单尺度预训练

   6、对于测试，也有很多细节性实验

      i、多剪裁融合

     ii、多尺度融合

    iii、不同网络模型的ensemble融合

    iiii、单尺度测试