一、
这篇文章,论文写的读起来很舒服,实验做的非常细,以前一直没看,看了之后发现,现在用的很多方法,都是人家玩剩下的。
二、主要内容
探索更深的网络、探索小卷积核3x3、探索比对训练与测试
三、VGG主要架构
基本上我们只知道VGG有两个模型,16层和19层。但是其实人家还是有很多的版本的,这些版本的存在主要有两个作用:
1、作者实验方便,利用小网络可以做更多的实验
2、小网络作为大网络的pre-trained model 部分参数(作者也提到了,其实不一定非要pre train,原话“e biases were initialised with zero. It is worth noting that after the paper submission we found that it is possible to initialise the weights without pre-training by using the random initialisation procedure of Glorot & Bengio (2010)”)
3、在这篇文章之前的,文章种大多数都会采用大卷积核“11x11、7x7” 也会用比较大的stride “4,2”,作者采用多个“3x3”的矫正层作为组合,为了让这个“层-决策函数”更加的有区分性
4、参数的初始化非常重要,比较深的网络在本文种都是采用前一个比较小的网络作为pre - trained model,最小的那个网络就是全部都是随机初始化的了,“不好的初始化方法,会导致深度梯度的不稳定,从而停止训练”。For random initialisation (where applicable), we sampled the weights from a normal distribution with the zero mean and 10−2 variance. The biases were initialised with zero.
5、对于尺度作者也做了详细的实验:
i、先用single scale训练小尺度
ii、大尺度基于小尺度预训练,可以提高收敛速度
iii、随机多尺度增广训练方案,也是先基于大单尺度预训练
6、对于测试,也有很多细节性实验
i、多剪裁融合
ii、多尺度融合
iii、不同网络模型的ensemble融合
iiii、单尺度测试