SqueezeNet | 轻量级深层神经网络

深度学习论文解读 专栏收录该内容
54 篇文章 6 订阅

SqueezeNet的作者来自Berkeley和Stanford,论文的题目毫无学术气息,且有一股浓烈的网络爆文感。SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size. 论文的题目直接的表达了论文的结果,实现了与AlexNet相同精度,但只用了1/50的参数量。且模型的参数量最少可以压缩到0.5M,这是AlexNet的1/510的参数量。SqueezeNet提出了FireModule模块实现了参数优化。

论文链接:http://arxiv.org/abs/1602.07360
代码链接(Caffe):https://github.com/DeepScale/SqueezeNet
代码链接(Keras):https://github.com/rcmalli/keras-squeezenet

1.SqueezeNet网络结构

SqueezeNet网络结构如下,其核心结构FireModule的组合形式。左图是SqueezeNet的整体结构,中图和右图是将ResNet网络中的shortcut引入所构建的网络,所以只是一种提升策略与SqueezeNet无关,本文不多做解释。

上图左图网络中各个层的滤波器参数具体如下:

2.FireModule详解

接下来通过图文并茂的方式来解释FireModule是如何工作的。

如上图所示,FireModule由squeeze模块和expand模块。该模块的主要有两大特性。

(1)squeeze模块:利用1*1卷积进行降维(所以如图中的16<128)

(2)expand模块:利用11卷积+33卷积组合升维。

整个网络还有一个特性:

(3)将poolint采样操作延后,可以给卷积层提供更大的激活图:更大的激活图保留了更多的信息,可以提供更高的分类准确率

其中,(1)和(2)可以显著减少参数数量,(3)可以在参数数量受限的情况下提高准确率。

3.实验结果

最终的实验结果如下图所示,证明了SqueezeNet具有优越性。

  • 0
    点赞
  • 0
    评论
  • 3
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

©️2022 CSDN 皮肤主题:编程工作室 设计师:CSDN官方博客 返回首页

打赏作者

yuanCruise

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值