SqueezeNet解读

前言

本文章是作者看了SqueezeNet自己对原文的理解，如有错误，敬请指正。

---

一、ABSTRACT

本文主要讲通过压缩技术来减少Cnn的参数数量

二、INTRODUCTION AND MOTIVATION

在精确度相同的情况下，参数量较小的Cnn框架有以下优点：
（1）更有效的分布式训练
（2）将模型导入到客户端的开销更小
（3）可实现FPGA和嵌入式部署。

三、RELATED WORK

下面将从微观架构和宏观架构来介绍该模型

3.1、CNN MICROARCHITECTURE

随着设计深度cnn的趋势，手动为每一层选择滤波器尺寸变得很麻烦。为了解决这个问题，提出了由具有特定固定组织的多个卷积层组成的各种更高级别的构建块或模块。这些模块被叫做Cnn的MICROARCHITECTURE。

3.2 CNN MACROARCHITECTURE

CNN宏观体系结构定义为将多个模块组织成端到端CNN体系结构的系统级组织。

四、SQUEEZENET: PRESERVING ACCURACY WITH FEW PARAMETERS

4.1、 ARCHITECTURAL DESIGN STRATEGIES

减少Cnn架构参数的主要策略有以下三种方法：
（1）将3x3卷积替换为1x1卷积
（2）减少输入的通道数（由Squeeze Layer实现）
（3）在网络的后面层进行下采样

4.2、THE FIRE MODULE

下面是SqueezeNet用到的Fire模型：

Fire模型主要由压缩层和扩展层组成，
压缩层：是由11的卷积通道数记做 S1x1
扩展层：是由11卷积和3*3卷积的通道数分别记做 e1x1和 e3x3
条件：S1x1<(e1x1 + e3x3)
注：不要将S1x1，e1x1， e3x3错误的理解成卷积的层数。

4.3、THE SQUEEZENET ARCHITECTURE

SqueezeNet从一个独立的卷积层(conv1)开始，接着是8个Fire模块(fire2-9)，以最终的conv层(conv10)结束。SqueezeNet在conv1, fire4, fire8和conv10层后执行max-pooling，步幅为2;下面是SqueezeNet完整架构：

在下表中给出了更多的细节

总结

提示：由于时间有限本文只对SqueezeNet进行简单的介绍，需要原文的可以通过以下链接进行获取链接: http://arxiv.org/abs/1602.07360
这篇论文主要是通过Fire模块来降低模型参数数量。
注：该文章为非盈利文章，此文章部分摘自网络如有侵权请联系删除小编的qq：2370154327