轻量级网络之SqueezeNet

---

前言

《SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH
50X FEWER PARAMETERS AND <0.5MB MODEL SIZE》
论文地址：https://arxiv.org/pdf/1602.07360.pdf
从题目上来看就知道这篇文章的主要卖点了，与AlexNet比较，参数量减少了性能还能差不多。但是感觉有夸大的作用，因为是轻量型网络的开篇之作（2016.02 伯克利&斯坦福大学），所以说简单的了解了一下。

压缩模型的优点

1. 可以进行更高效率的分布式训练：在分布式训练中，模型可训练参数变小，意味着用于网络训练的时间减少，这样整个分布式训练系统就能拥有更高的扩展效率；
2. 可更高效地将新训练模型部署至端侧设备：当下很多AI驱动的APP或Service都需要不断将新训练得到的模型快速自云端部署至用户的客户端，小的CNN模型意味着更少的网络传播需求，进而更有利于新训练模型的频繁部署；
3. 有效的FPGA或其它嵌入设备上的模型部署：因FPGA或其它移动等嵌入设备往往只有很少的片上内存可用（没有或有速度相对很慢的片外内存），因此它们也渴望高准确率同时占内存不多的小CNN模型。

压缩的策略

1. 将3×3卷积替换成1×1卷积。文章中将大多数3×3卷积替换为1×1卷积，这使得一个卷积操作的参数两减少了9倍
2. 减少3×3卷积的通道数。一个3×3卷积的计算量是3×3×M×N其中M是输入Feature Map的通道数，而N是输出Feature Map的通道数，作者希望通过减少M,N来达到减少参数量的目的
3. 下采样后置，使卷积层具有较大的activation maps。这个举动会提高网络精度，但是也会增加网络的计算量。

网络结构

Fire Module

思想非常简单，就是将原来简单的一层conv层变成两层：squeeze层+expand层，各自带上Relu层。
Squeeze部分：一组连续的1×1的卷积，能够实现降维（通道数减少）。
Expand部分：一组连续的1×1卷积和一组连续的3×3卷积cancatnate组成。因此3×3卷积需要使用同样的卷积方式。同时还起到了升维的作用（通道数增多）。

总体架构

从设计的三种网络结构中，你可以看见还是参考了之前ResNet、Incepetion的网络设计方式。

整个网络包含10层，第1层为卷积层，缩小输入图像，提取96维特征；第2到9层为fire模块，每个模块内部先减少通道数（squeeze）再增加通道数（expand）。每两个模块之后，通道数会增加；在1、4、8层之后加入降采样的max pooling，缩小一般尺寸；第10层又是卷积层，为小图的每个像素预测1000类分类得分；最后用一个全图average pooling得到这张图的1000类得分，使用softmax函数归一化为概率。

这是一个全卷积网络，避免了如今越来越不受待见的全连接层，全连接层的参数多，对性能提升帮助不大。。由于最后一层提供了全图求平均操作，可以接受任意尺寸的输入。

😃
当然SqueezeNet还可以继续压缩，使模型更小。SqueezeNet采用了一些deep-compression的方法，比如裁剪，量化和编码.
裁剪：设置阈值，对于小于阈值的参数直接写0，然后用非零参数再次训练
量化：对参数做聚类，然后每个类别的参数的梯度值相加，作用在聚类中心上
编码：Huffman编码进一步压缩存储

SqueezeNet得到的模型是5MB左右，0.5MB的模型还要得益于Deep Compression。虽然Deep Compression也是这个团队的文章，但是将0.5这个数列在文章的题目中显然不是很合适。

性能比较

SqueezeNet印证了小得多的网络也可以到达很好的CNN识别精度。

上一篇：CNN卷积神经网络之AlexNet
下一篇：轻量级网络之MobileNet v1