GoogLeNet V1
研究背景以及研究成果
ILSVRC
比赛的分类冠军、检测冠军、定位亚军
研究意义
- 开启多尺度
1x1
卷积广泛应用GoogLeNet
系列
相关研究
NIN
:首个采用1x1
卷积的卷积神经网络,舍弃全连接层,大大减少了网络参数- 多尺度
Gabor
滤波器提取特征 - 一起激发的神经元连接在一起
模型设计
多尺度卷积
不同尺度滤波器的尺度是不一样的,感受野不同。采用多尺度卷积能够形成特征多样性
1*1卷积
采用了多尺度卷积就会导致:1.
数据量激增 2.
计算量增加
针对这个问题,文章提出了采用1*1
卷积先降低维度
池化保留特征
在进行多尺度卷积的时候,增加了max pooling
,一定程度上保留了输入的特征,但是换来的是较大的计算量,所以在后面接了一个1*1卷积去降低计算量。
关于这里是否交换下位置?
交换位置之后,计算量变大了。因为11就算先降维,但是后面接了33的卷积,计算量还是比较大
中间层输出辅助函数
通过增加中间辅助函数,能够很好的起到防止梯度消失的问题,也在一定的程度上面起到防止过拟合的效果(后面的文章证明这个方法无效)
训练技巧
- 图像尺寸均匀分布在
8% - 100%
之间 - 长宽比在
[3/4, 4/3]
- 亮度、饱和度和对比度的扰动
- 每
8
个epoch
学习率下降4%
(谷歌这种做法只能说是美刀玩家)
测试技巧
multi-crop
测试
将一张图变成144
张图,即:4*3*6*2
step1
:等比例缩放短边至256、288、320、352
四种尺寸
step2
:在长边裁剪出3
个正方形,左中右或上中下,三种尺寸
step3
:左上、右上、左下、右下、中心、全局resize
,六个位置
step4
:水平镜像
modle fusio
比赛上面的常规套路