轻量型网络SqueezeNet

轻量型网络SqueezeNet

近些年来深层卷积网络的主要方向集中于提高网络的准确率。而对于相同的正确率，更小的CNN架构可以提供如下优势：（1）在分布式训练中，与服务器通信需求更小。（2）参数更少，从云端下载模型的数据量少。（3）更适合在FPGA等内存受限的设备上部署。基于这些优点，这篇论文提出了SqueezeNet。它在ImageNet上实现了和AlexNet相同的准确率，但是只使用了$\frac{1}{50}$AlexNet的参数。更进一步，使用模型压缩技术，可以将SqueezeNet压缩到0.5M，这是AlexNet的$\frac{1}{510}$。

结构设计技巧：
（1）使用了$1\times 1卷积代替3\times 3\text{ 卷积：参数减少为原来的1 / }{9}_{\circ }$
(2)减少输入通道数量：这一部分使用squeeze层来实现。
(3)将下采样操作延后，可以给卷积层提供更大的特征图：更大的激特征图保留了更多的信息，可以获得更高的分类准确率
其中，(1)和(2)可以显著减少参数数量，(3)可以在参数数量受限的情况下提高准确率。

FIRE MODULE

Fire Module是SqueezeNet中的基础构建模块，Fire Module如Figure1所示 ：

squeeze convolution layer：$s_{1\times 1}$只使用1x1卷积核，即上面提到的策略(1)。

expand layer：$e_{1\times 1}和e_{3\times 3}$使用1x1和3x3卷积核的组合。

Fire module中有3个可调的超参数：(squeeze convolution layer中1x1 卷积核的个数)，(expand layer中1x1和3x3卷积核的个数)

使用Fire Module的过程中，令$s_{1\times 1}<e_{1\times 1}+e_{3\times 3}$，这样squeeze layer可以限制输入通道数量，即结构设计技巧提到的技巧（2）。

网络结构

SqueezeNet以卷积层conv1开始，接着使用8个Fire modules (fire 2-9)，最后以卷积层conv10结束。每个Fire Module中的Filter数量逐渐增加，并且在conv1,fire4,fire8, 和 conv10这几层之后使用步长为2的Max-Pooling，即将池化层放在相对靠后的位置，这使用了以上的策略（3）。

如图，左边为原始版本的SqueezeNet，中间为包含简单跳跃连接的改进版本，最右侧为使用复杂跳跃连接的改进版本。

这里有一些细节，例如我们看fire2这个模块在剪枝前的参数是11920，这个参数是怎么计算得到的呢？fire2之前的maxpool1层的输出是555596，之后接着的Squeeze层有16个的1196卷积filter，注意这里是多通道卷积，为了避免与二维卷积混淆，在卷积尺寸末尾写上了通道数。这一层的输出尺寸为555516，之后将输出分别送到expand层中的1x1x16(64个)和3x3x16(64个)进行处理，注意这里不对16个通道进行切分(就是说这里和MobileNet里面的那种深度可分离卷积不一样，这里就是普通的卷积)。为了得到大小相同的输出，对3x3x16的卷积输入进行尺寸为1的zero padding。分别得到和1x1x16卷积的大小相同的特征图。将这两个特征图concat到一起得到大小55x55x128的特征图，加上bias参数，这样总参数为$(1\times 1\times 96+1)\times 16+(1\times 1\times 16+1)\times 64+(3\times 3\times 16+1)\times 64=(1552+1088+9280)=11920$。

可以看到Fire Module中先通过squeeze层的卷积来降维和降低参数，之后的expand层使用不同尺寸的卷积核来提取特征同时进行升维。这里的卷积核参数较多，远大于卷积的参数，所以作者对3x3卷积又进行了卷积操作和降维操作以减少参数量。从网络整体来看，特征图的尺寸不断减小，通道数不断增加，最后使用平均池化将输出维度转换成完成分类任务。

其他细节
SqueezeNet还有以下的一些细节：

1、为了使和卷积核输出的特征图尺寸相同，在expand模块中，给卷积核3x3的原始输入添加一个像素的边界(zero-padding)。
2、squeeze layer和expand layer都是用ReLU作为激活函数。
3、在fire9模块之后，使用Dropout，比例取50%。
4、注意到SqueezeNet中没有全连接层，这借鉴了Network in Network的思想。
5、训练过程中，初始学习率设置为0.04，，在训练过程中线性衰减学习率。
由于caffe中不支持使用2个不同尺寸的卷积核，所以expand layer实际上是使用了2个单独的卷积层(1x1卷积和3x3卷积核)，最后将这两层的输出连接在一起，这在数值上等价于使用单层但包含2个不同尺寸卷积核的方式。

参考自（GaintPandaCV）