轻便网络之SqueezeNet

论文：SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE

代码： https://github.com/DeepScale/SqueezeNet

前面介绍过MobileNet，这里介绍另一个轻便型网络SqueezeNet。这是一个号称能够将AlexNet的

网络参数压缩510倍，达到小于0.5M。下面就让我们来慢慢揭开它的神秘面纱吧。

首先，我们需要知道Sq ueezeNet的整体设计都是围绕下面三个核心思想展开的：

• Replace 3x3 filters with 1x1 filters.
• Decrease the number of input channels to 3x3 filters.
• Downsample late in the network so that convolution layers have large activation maps.

根据上面的思路，SqueezeNet引入了一种模块——Fire module:

                   

Fire module 会先通过squeeze layer对输入的通道数进行压缩，之后通过expand layer,对输入的特征

进行多尺度的卷积运算，最后将结果在通道级别上进行级联。鉴于Squeeze layer的作用，我们需要

考虑到Squeeze layer的卷积核个数要小于Expand layer中卷积核的个数。下面来看一看Caffe的