（四十八）论文阅读 | 轻量级网络之SqueezeNet

最新推荐文章于 2022-07-29 23:00:00 发布

zhangts20

最新推荐文章于 2022-07-29 23:00:00 发布

阅读量670

点赞数 1

分类专栏：论文阅读文章标签：神经网络深度学习

本文链接：https://blog.csdn.net/Skies_/article/details/112802044

版权

论文阅读专栏收录该内容

54 篇文章 33 订阅

订阅专栏

本文详细介绍了SqueezeNet轻量级深度学习模型的设计原理，包括其架构设计策略、Fire模块以及CNN微架构设计空间的探索。SqueezeNet在保持与AlexNet相当精度的同时，参数量减少了50倍，适合资源有限的设备部署。通过元参数控制，论文提出了调整模型复杂度的方法，并探讨了不同宏观架构配置的影响。

摘要由CSDN通过智能技术生成

简介

在这里插入图片描述

图1：论文原文

该论文也是旨在设计轻量级模型，文中首先指出设计轻量级模型的实际需求，然后提出诸多设计准则，并提出 ${\rm SqueezeNet}$ 。论文原文源码

0. Abstract

当具有相当精度时，轻量级 ${\rm CNN}$ 拥有以下优势：分布式训练时更少的跨服务器间通信，算法部署时更少的带宽，部署在内存有限的硬件上。论文设计出一个轻量级模型 ${\rm SqueezeNet}$ ，相比于 ${\rm AlexNet}$ ，后者参数是它的 ${\rm 50}$ 倍，且大小小于 ${\rm 0.5MB}$ 。

论文贡献：（一）指出设计轻量级模型的实际必要性；（二）提出 ${\rm SqueezeNet}$ ；（三）探索轻量级模型的设计准则。

1. Introduction and Motivation

轻量级 ${\rm CNN}$ 具有以下优势：

More efficient distributed training. 服务器间的通信是限制 ${\rm CNN}$ 分布式训练扩展性的主要因素。对于数据的分布式并行训练，通信开销与模型参数成正比，及小模型的训练更快。

Less overhead when exporting new mdoels to clients. 更小的模型使得频繁更新部署在端侧的模型成为可能。

Feasible FPGA and embedded deployment. ${\rm FPGA}$ 通常仅有少于 ${\rm 10MB}$ 的存储空间，而小模型可以直接部署在上面。

2. Related Work

2.1 Model Compression

设计轻量级模型的一个思路是基于现有的模型，然后采取某种操作压缩模型，如使用 ${\rm SVD}$ ，模型剪枝，模型量化，霍夫曼编码等。

2.2 CNN Microarchitecture

使用模块化的设计代替一系列复杂的卷积操作，如 ${\rm Inception}$ 。

2.3 CNN Macroacchitecture

跨层和多模块连接是当前设计神经网络的主流方法。

2.4 Neural Network Design Space Exploration

以自动化的方式设计网络结构，如贝叶斯优化，模拟退火，随机搜索，遗传算法等。

3. SqueezeNet: Preserving Accuracy with Few Parameters

3.1 Architecture Design Strategies

Replace 3x3 filters with 1x1 filters.

Decrese the number of input channels to 3x3 filters.

Downsample late in the network so that convolution layers have large activation maps.

3.2 The Fire Module

${\rm Fire}$ 模块定义为一个压缩卷积和一个扩展卷积的组合。
在这里插入图片描述

图2：Fire Module

这里定义三个参数， $s_{1x1}$ 表示压缩卷积层中卷积核的数量， $e_{1x1}$ 表示扩展卷积层中 ${\rm 1\times1}$ 卷积核的数量， $e_{3x3}$ 表示扩展卷积层中 ${\rm 3\times3}$ 卷积核的数量。

3.3 The SqueezeNet Architecture

在这里插入图片描述

图3：The Architecture of SqueezeNet

关于 ${\rm SqueezeNet}$ 的几点：

为了使 ${\rm 1\times1}$ 卷积和 ${\rm 3\times3}$ 卷积的输出结果大小相同，对后者进行加零填充；
使用 ${\rm ReLU}$ 激活函数；
在 ${\rm fire9}$ 后使用 $0.5$ 的 ${\rm Dropout}$ ；
没有全连接层；
初始学习率为 $0.04$ ，然后以线性方式减小；
由于 ${\rm Caffe}$ 不包含多个分辨率的卷积核，使用通道拼接的方式得到最终结果。

4. Evaluation of SqueezeNet

在这里插入图片描述

图4：Comparing SqueezeNet to model compression approach

5. CNN Microarchitecture Design Space Exploration

论文提出针对小型网络的设计策略。

5.1 CNN Microarchitecture Metaparameters

如上，在 ${\rm SqueezeNet}$ 中，每个 ${\rm Fire}$ 模块定义了三个参数，即 ${\rm SqueezeNet}$ 中的 $8$ 个 ${\rm Fire}$ 模块共有 $24$ 个参数。为了便于类似 ${\rm SqueezeNet}$ 结构的设计，论文使用元参数来控制总参数的数量。定义 $base_e$ 表示第一个 ${\rm Fire}$ 模块中扩展卷积层中卷积核的数量，然后每 $f r e q$ 个 ${\rm Fire}$ 模块增加 $incr_e$ 个卷积核。以此，对于第个 $i$ 个 ${\rm Fire}$ 模块而言，扩展层中卷积核的数量为： $e_i=base_e+\left(incre_e*\left\lfloor\frac{i}{freq}\right\rfloor\right)\tag{1}$

在扩展层中同时存在 ${\rm 1\times1}$ 卷积和 ${\rm 3\times3}$ 卷积，即 $e_i=e_{i,1x1}+e_{i,3x3}$ 卷积，定义变量 $pct_{3x3}$ 表示 ${\rm 3\times3}$ 卷积核的比例。即满足： $e_{i,3x3}=e_i*pct_{3x3},\ e_{i,1x1}=e_i*(1-pct_{3x3})\tag{2}$

最后，压缩层中卷积核的数量使用元参数 $S R$ 控制，满足： $s_{i,1x1}=SR*(e_{i,1x1}+e_{i,3x3})\tag{3}$

在这里插入图片描述

图5：SqueezeNet architectural dimensions

对应上图，各参数为 $base_e=128$ ， $incr_e=128$ ， $pct_{3x3}=0.5$ ， $f e r q = 2$ ， $S R = 0.12$ .。

5.2 Squeeze Ratio

主要是前面定义的参数 $S R$ 的使用。

5.3 Trading off 1x1 and 3x3 Filters

主要是 ${\rm 1\times1}$ 卷积和 ${\rm 3\times3}$ 卷积的使用。

6. CNN Macroarchitecture Design Space Exploration

在本部分，作者探讨其它的优化方法：

原始 ${\rm SqueezeNet}$ ；
借助简单跳跃连接；
借助复杂跳跃连接。

在第三、五、七和九个 ${\rm Fire}$ 模块的输入输出使用简单跳跃连接。由于在跳跃连接中，输入与输出通道数必须相同，所以剩余不能直接使用跳跃连接的 ${\rm Fire}$ 模块首先使用 $1\times1$ 卷积统一通道数。
在这里插入图片描述

图6：Different Macroarchitecture Configurations

7. Conclusions

论文首先介绍了设计研究轻量级模型的必要性，然后提出一系列轻量级模型的设计准则，并提出一个精度与 ${\rm AlexNet}$ 相当的模型 ${\rm SqueezeNet}$ ，且前者的参数量是后者的 ${\rm 50}$ 倍。

参考

Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.

完