SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

摘要:
SqueezeNet是UC Berkeley 和 Stanford的作者提出的一种“小网络”。
原文地址: http://arxiv.org/abs/1602.07360

长久以来，研究人员一直在努力提升DCNN的精度。但是，在一些嵌入式便携式设备上，“小网络”更加受欢迎。

“小网络”有三个优势，1）在分布式训练的时候，需要更少的服务器之间的通信。2）模型加载的时候，需要更少的带宽。3）可以装载到FPGA或者其他“内存小”的设备上面。

作者提供的网络SqueezeNet，在达到AlexNet的精度的情况下，只需要AlexNet的1/50的参数。进一步 使用模型压缩技术，可以将模型压缩到0.5MB。

详细介绍
在这部分，首先说明CNN结构设计的策略，然后介绍Fire Module，最后介绍利用Fire Module构建SqueezeNet。
1. 结构设计策略
这篇文章的首要目的找到一种参数很少的网络，并且能够保持有竞争力的精度。为了达到这个目的，作者采用了三个策略。

策略1: 使用1*1网络代替3*3网络
在设计中，减少3*3网络的使用，尽量使用1*1网络。因为”1*1网络的参数数目” 是 “3*3网络的参数数目” 的1/9。

策略2.减少3*3滤波器的输入通道数。
每个卷积层的参数总数 = （前一层的通道数）（输出滤波器数）