背景简介
几乎与 VGG 网络同时,Google 在2014年9月提出了 Inception-v1 网络结构,它在两方面有打的进步:1)网络更深,有20多层;2)网络更宽,作者的出发点是,卷积核有1x1,3x3,5x5等,为什么每次卷积只能选一种大小的卷积核? W h y n o t t r y t h e m a l l ? Why\ not\ try\ them\ all? Why not try them all? 作者便在每个 Inception block 把这几种卷积核以及池化全部使用了。再加上2013年 N e t w o r k i n N e t w o r k Network\ in\ Network Network in Network 这篇文章的影响,作者使用了1x1的卷积 t r i c k trick trick 来减少计算量。这里有个 Inception-v1 也就是 GoogLeNet 的命名也很有意思,明显是在尊重大牛 LeCun 提出的 LeNet。
几个月之后,2015年2月,这个团队又提出了加速网络训练的方法 B a t c h N o r m a l i z a t i o n Batch\ Normalization Batch Normaliz