模型优化论文笔记4----保持准确性的同时得到更少参数的模型SqueezeNet

1 参考文献：
论文地址：https://arxiv.org/pdf/1602.07360.pdf
项目地址：https://github.com/DeepScale/SqueezeNet

2 主要思想：
保持准确性的同时得到更少参数的模型。
提出Fire module，包含squeeze layer和expand layer。
从微架构和宏架构两个角度探索Fire module内部和module之间的联系对accuracy的影响。
将SqueezeNet与Deep Compression结合，实现模型尺寸小于0.5MB，是AlexNet的1/510。

3 背景：
在同等精度的情况下，较小的CNN架构至少有三个优点:
(1)在分布式训练时需要较少的服务器间通信，从而更高效。
(2)更少的开销将一个新车型从云端导出到自动驾驶汽车，使得频繁更新变得可行。
(3)在FPGA等内存有限的硬件上部署更可行。

4 相关工作：
Model Compression模型压缩：基于现有的CNN模型，以有损方式进行压缩。例，奇异值分解用于预训练（Denton,2014），网络剪枝用0替代低于阈值的参数形成稀疏矩阵（Han,2015b），网络剪枝与量化，哈夫曼编码融合（Han,2015a）。
更高层次的构建块和模块：由多个具有特定固定组织的卷积层组成，解决为深层CNN手动选择过滤器尺寸的问题。例，GoohleNet提出Inception模块，组