轻量级网络设计-SqueezeNet
ICLR2017-SqueezeNet
SqueezeNet设计策略
-
用1x1卷积核代替3x3卷积核
-
减少3x3卷积核的输入通道数
-
将采样层之后,以使得卷积层有更大的activation map(作者提到其直观认为更大的激活图可以提供更好的分类精度)
策略1、2主要是减少参数量,策略3是在此情况下最大化模型精度
Fire Module 模块
SqueezeNet使用Fire Module来代替标准卷积核,Fire Module示意图如下:
- 图片中squeeze 部分实现了策略1与策略2,包括替换1x1卷积核与减少输入通道数
- 有3个超参数可调节,s1x1, e1x1, e3x3, 分别表示图片中卷积核的个数,一般设置s1x1的值小于(e1x1+e3x3),使得3x3卷积核的输入通道数减小
SqueezeNet 结构
网络整体结构如下,使用fire module代替标准卷积,