【squeeze】AlexNet-level accuracy with 50x fewer parameters

最新推荐文章于 2024-05-23 09:37:52 发布
最新推荐文章于 2024-05-23 09:37:52 发布
阅读量1.3k 收藏
点赞数
分类专栏： 计算机视觉论文------------------ 图像语义分割论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014451076/article/details/71404925
版权

基本情况

这篇是ICLR 2017（2016年上传到arxiv）的文章.主要针对模型压缩的.使用的是分类网络中的AlenNet为代表.

Abstract

目前很多方法都是只关注精度的，但是在同等精度的情况下，小的模型很多优点，比如：（１）训练等更快（２）在部署时更少的带宽要求，例如自动驾驶汽车（３）可以部署到FPGA等.正是由于有这些优点，本文提出了一种小的CNN架构，SqueezeNet.实现了AlexNet模型参数减少了50倍.在受用模型压缩技术情况下，可以做到减少510倍参数，只有0.5MB的模型大小.

模型压缩方面：本文工作的首要目标是确认一个模型，保证精度的情况下使用很少的参数.目前已经有许多模型压缩的方法了：SVD；设置阈值的方法；Deep Compression等.
CNN网络模块方面：目前有Inception modules等.
CNN网络架构方面：目前有bypass connections等.

SqueezeNet: 保持精度减少参数

本文针对保持精度减少参数提出了三个策略：(1)用1x1filters来代替3x3filters(2)减少3x3filters的输入通道数(3)推迟下采样，保证网络有大的activation maps.很容易看出来，(1)(2)是为了减少参数的，而(3)是为了在限制的参数数量条件下提高精度的.
针对(1)(2)本文提出了一种网络模块Fire Module.
image
针对(3)，本文对Fire Module进行了组合，创建了SqueezeNet.
image

Evaluation of SqueezeNet

这部分做了本文提出的性能与其他方法的比较.
image

CNN exploration

这一部分来分析Fire Module中超参数的合适取值，来保证准确率.
image
接着实验说明了bypass结构的使用对结果的影响.
image

相关资源

明天去哪
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
目标检测论文：SqueezeNet：AlexNet-level accuracy with 50x fewer parameters and 0.5MB Model Size及其PyTorch实现
mingo_敏
07-22 626
SqueezeNet：AlexNet-level accuracy with 50x fewer parameters and < 0.5MB Model Size 论文链接：https://arxiv.org/pdf/1807.11164.pdf PyTorch：https://github.com/shanglianlm0525/Lightweight-network Fire modu...
论文笔记——SQUEEZENET ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE
weixin_30892889的博客
11-12 130
论文地址：https://arxiv.org/abs/1602.07360 模型地址：https://github.com/DeepScale/SqueezeNet 1. 论文思想 提出一种新的卷积组合方式替代原来的3*3的卷积。类似于bottleneck layer减少参数数目。但是不太像MobileNet是提出了一种新的卷积计算方式来减少参数，加速计算。 2. 网络结构设计策略 用3*3的替...
SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND ＜0.5MB MODEL SIZE--论文笔记
最新发布
dezwb的博客
05-23 949
最近对深度卷积神经网络(cnn)的研究主要集中在提高准确性上。对于给定的精度级别，通常可以识别达到该精度级别的多个CNN架构。==在同等精度的情况下，较小的CNN架构提供了至少三个优势:(1)较小的CNN在分布式训练期间需要更少的服务器间通信。(2)较小的cnn从云端导出新模型到自动驾驶汽车所需的带宽更少。(3)较小的cnn更适合部署在fpga和其他内存有限的硬件上。==为了提供所有这些优势，我们提出了一个名为SqueezeNet的小型CNN架构。
【读点论文】SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND ＜0.5MB MODEL SIZE
白水空空
05-09 949
SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE ABSTRACT 最近对深度卷积神经网络(CNN)的研究主要集中在提高准确性上。对于给定的精度水平，通常可以识别出多个达到该精度水平的CNN架构。 在同等精度的情况下，较小的CNN架构至少提供了三个优点: (1)较小的CNN在分布式训练期间需要较少的跨服务器通信。 (2)较小的CNN需要较少的带宽来从云中向自动驾驶汽车导出新模型。
SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND ＜0.5MB MODEL SIZE
weixin_44116254的博客
02-18 377
SqueezeNet：AlexNet级别的准确率，小50x的参数量和<0.5MB的模型大小摘要1. 介绍与动机2. 相关工作2.1 模型压缩2.2 CNN微观结构2.3 CNN宏观结构2.4 神经网络设计空间探索3. SqueezeNet：保留准确率，降低参数量3.1 结构设计策略3.2 Fire 模块3.3 SqueezeNet 结构3.3.1 其他 SqueezeNet 细节4. SqueezeNet 的评估5. CNN 微观结构设计空间探索5.1 CNN 微观结构元参数5.3 权衡 1×1 和
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB model size阅读笔记
Jiajun的博客
03-03 5959
文章链接，http://arxiv.org/abs/1602.07360 代码链接，https://github.com/DeepScale/SqueezeNet 目前文章还是第一版，所以内容上不是很多。摘要先提了在相同精确度下，体积更小的深度神经网络有着以下3点好处。 Smaller DNNs require less communication across servers dur
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB .pdf
12-20
For a given accuracy level, it is typically possible to identify multiple CNN architectures that achieve that accuracy level. With equivalent accuracy, smaller CNN architectures offer at least three ...
squeezebox-portfolio-template
04-30
【squeezebox-portfolio-template】是一个基于CSS技术的网页设计模板，专为展示个人或企业投资组合而设计。这个模板的特点是使用了一个独特的介绍块，它能够以滑动效果展开，揭示一个包含多个投资项目的作品集画廊。...
Squeeze-and-Excitation Networks
04-05
Squeeze-and-Excitation Networks（简称SENet）是一种深度学习模型，由Jie Hu等人提出。SENet是针对卷积神经网络（CNN）的改进方案，它通过特别设计的网络结构——即“Squeeze-and-Excitation”（SE）块来增强网络中...
Python库 | squeezebox-controller-0.15.3.tar.gz
03-10
"squeezebox-controller-0.15.3.tar.gz" 是一个与Python相关的压缩包文件，它包含了一个名为 "squeezebox-controller" 的库的版本0.15.3。这个库主要用于控制squeezebox音乐播放器，squeezebox是一款网络音乐服务器...
node-squeezebox-cli:Node.js 的 Squeezebox 通信
07-19
《Node.js的Squeezebox通信：深入理解与实践》 在现代数字音频系统中，Squeezebox是一款备受青睐的媒体播放器，它以其强大的网络功能和广泛的音乐源支持而闻名。而当我们谈论与Squeezebox进行通信时，Node.js的`...
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size
夜夜秋雨
07-13 2565
摘要: SqueezeNet是UC Berkeley 和 Stanford的作者提出的一种“小网络”。 原文地址: http://arxiv.org/abs/1602.07360长久以来，研究人员一直在努力提升DCNN的精度。但是，在一些嵌入式便携式设备上，“小网络”更加受欢迎。“小网络”有三个优势，1）在分布式训练的时候，需要更少的服务器之间的通信。2）模型加载的时候，需要更少的带宽。3）可以
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and 1MB model size
LYKymy的博客
07-31 531
Abstract 最近对深度神经网络的研究主要集中在提高准确性上。对于给定的准确度级别，通常可以识别达到该准确度级别的多个DNN架构。具有同等精度，较小的DNN架构至少具有三个优势： 在分布式培训期间，较小的DNN需要较少的服务器通信。 较小的DNN需要较少的带宽来将新模型从云导出到自动驾驶汽车。 较小的DNN更适合部署在FPGA和内存有限的其他硬件上。 为了提供所有这些优势，我们提出了一种...
论文笔记 SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND ＜0.5MB MODEL SIZE
初级打字员博客
07-22 281
0. 前言 -大概记一下SqueezeNet读后的一些记录，老文章了，网上很多笔记 -文章结构写的很清晰，主题也很明确 -本篇文章就是简单粗暴的从designspace入手，凭空创造了一个网络，设计网络的时候有几条准则和思路（下面记一下正文里的点） 1. 从几个角度讲了一下CNN的发展 ①微架构（MicroArchitecture）： 就是由少量layer组成的小模块，调参的时候通常针对这样的模块调整，而不是针对更细粒度的layer调整。 这种模块化的设计...
【SQUEEZENET】AlexNet-level Accuracy with 50X fewer parameters and 0.5MB model size
OneCoder的博客
08-08 1182
这是由UC Berkerley和Stanford研究人员一起完成的Squeezenet网络结构和设计思想。SqueezeNet设计目标是在保持精度（Alexnet）的情况下简化网络的复杂度。 1、设计原则： 尽量选择1*1卷积核来代替3*3卷积核，因为1*1的卷积核比3*3的卷积核参数少了9倍。 减少3*3卷积核的输入通道（input channels），因为卷积核参数为：（number o...
SqueezeNet:AlexNet-Level accuracy with 50x fewer parameters and ＜ 0.5 MB models size论文解读
qq_43183663的博客
03-25 413
SqueezeNet:AlexNet-Level accuracy with 50x fewer parameters and < 0.5 MB models size论文解读一、论文下载链接及贡献一级目录一级目录二级目录三级目录 一、论文下载链接及贡献 论文下载链接：http://arxiv.org/abs/1602.07360 论文贡献： 一级目录 一级目录 二级目录 三级目录 ...
SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND 0.5MB MODEL SIZE
十年磨一剑
05-29 301
/home/seamanj/Software/anaconda3/bin/python3.7 /home/seamanj/Workspace/AlexNet/main.py Downloading: "https://download.pytorch.org/models/squeezenet1_0-a815701f.pth" to /home/seamanj/.cache/torch/ch...
SqueezeNet:AlexNet-level Accuracy with 50x fewer parameters and less than 0.5Mb model size
weixin_30821731的博客
06-04 106
- Fire modules consisting of a 'squeeze' layer with 1*1 filters feeding an 'expand' layer with 1*1 and 3*3 filters(Fire模塊包含一個'1*1濾波器的'擠壓'層和一個1*1和3*3濾波器的'擴展'層) - AlexNet level accuracy on ImageNe...
笔记：SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <1MB model size
ngmanhei的博客
02-28 3531
前言： 最近看到个FPGA与Deep Learning相结合的文章，正好看到arxiv上放了这篇文章出来，听说这个SqueezNet有利于将CNN在FPGA上实现，于是简单看了一下。不过作者也没有给出实现结果，但既然是UC Berkeley 和 Stanford发的，说明大牛们都很关注这个事，搞不好哪天FPGA+DL真的就流行用起来了。 文章链接：http://arxiv.org/ab
x = x.squeeze(-1)为什么维度没有变化
04-27
当调用 x.squeeze(-1) 时，它会尝试将张量 x 中维度为 1 的维度压缩掉。如果维度为 1 的维度不存在，则不会有任何影响。如果维度为 1 的维度存在，则会被压缩掉，即从张量中删除。由于压缩的维度是 -1，表示最后一个维度，因此在维度被压缩后，张量的形状可能会发生变化。但是，如果在调用函数时，张量的最后一个维度不是维度为 1 的维度，则不会发生任何变化，这时调用 x.squeeze(-1) 就相当于没有做任何操作。因此，如果你的张量最后一个维度不是维度为 1 的维度，调用 x.squeeze(-1) 就不会改变张量的形状。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值