GooLeNet V1 网络学习

GoogLeNet V1

研究背景以及研究成果

ILSVRC比赛的分类冠军、检测冠军、定位亚军

研究意义

• 开启多尺度
• 1x1卷积广泛应用
• GoogLeNet系列

相关研究

• NIN：首个采用1x1卷积的卷积神经网络，舍弃全连接层，大大减少了网络参数
• 多尺度Gabor滤波器提取特征
• 一起激发的神经元连接在一起

模型设计

多尺度卷积

不同尺度滤波器的尺度是不一样的，感受野不同。采用多尺度卷积能够形成特征多样性

1*1卷积

采用了多尺度卷积就会导致：1.数据量激增 2.计算量增加
针对这个问题，文章提出了采用1*1卷积先降低维度

池化保留特征

在进行多尺度卷积的时候，增加了max pooling，一定程度上保留了输入的特征，但是换来的是较大的计算量，所以在后面接了一个1*1卷积去降低计算量。

关于这里是否交换下位置？
交换位置之后，计算量变大了。因为11就算先降维，但是后面接了33的卷积，计算量还是比较大

中间层输出辅助函数

通过增加中间辅助函数，能够很好的起到防止梯度消失的问题，也在一定的程度上面起到防止过拟合的效果（后面的文章证明这个方法无效）

训练技巧

• 图像尺寸均匀分布在8% - 100%之间
• 长宽比在[3/4, 4/3]
• 亮度、饱和度和对比度的扰动
• 每8个epoch学习率下降4%(谷歌这种做法只能说是美刀玩家)

测试技巧

• multi-crop测试

将一张图变成144张图，即:4*3*6*2

step1：等比例缩放短边至256、288、320、352四种尺寸

step2：在长边裁剪出3个正方形，左中右或上中下，三种尺寸

step3：左上、右上、左下、右下、中心、全局resize，六个位置

step4：水平镜像

• modle fusio

比赛上面的常规套路