Inception V2

2015年，Google在论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出了Inception V2模型。

Inception V2学习了VGGNet，用两个3x3的卷积来代替5x5的大卷积（减少了参数，减轻了过拟合。）
另外文中还提出了著名的BN归一化算法。
解读Batch Normalization

BN是一种非常有效的正则化方法，可以让大型卷积网络的训练速度加快很多倍，同时收敛后的分类准确率也得到大幅提升。 BN在用于神经网络某一层时（注： BN层放在激活函数之前，使Wx+b具有更加一致和非稀疏的分布。），会对每一个mini-batch的数据内部进行标准化，使输出规范化到N（0，1）正态分布。

BN指出，传统的神经网络在训练时，每一层的输入分布都在发生变化，导致训练困难，我们一般只能使用一个很小的学习率来解决这一问题。BN的使用可以时学习速率增加很多倍，能够减少训练时间。同时BN也具有正则化作用，所以可以取消Dropout层，简化了模型。

只是单纯的使用BN，分类提升效果还不是太明显，论文中使用了几个tricks：
（1）增大学习率，加快学习率衰减速度。
（2）去除Dropout层
（3）去除LRN层（局部归一化层，lrn层放在relu、maxpool层后面，作为单独一层）。