轻量级模型解读——SqueezeNet

---

1、SqueezeNet概述

2016年提出，算是首次在保证模型精度的情况下关注如何减小模型参数量的设计，为了达到这个目的，作者实施了如下三个策略：
1、将3x3卷积核替换成了1x1卷积核
2、将3x3卷积核的输入通道减小
3、在网络的后期进行下采样，使卷积层有较大尺寸的激活图(保证精度)
SqueezeNet重点是其中的Fire module部分，如下图所示。

它包含了一个由1x1卷积组成的squeeze层和1x1及3x3混合组成的expand层，其中squeeze层的1x1卷积对应上面的策略1，通过设置squeeze层中1x1卷积核数量小于expand层中1x1及3x3卷积核之和，可以挤压expand层中3x3卷积操作输入通道的数量，可以达到策略2的目的。

其网络结构如下：

---

2、实验

原始SqueezeNet与原始AlexNet相比，模型大小前者是后者的1/50，而且前者还可以在保持精度不下降的情况下进一步压缩，如下表所示：

SqueezeNet在ImageNet数据集上的top1准确率如下：