文献阅读（99）韩松2016年网络压缩论文

最新推荐文章于 2022-03-01 09:12:00 发布
最新推荐文章于 2022-03-01 09:12:00 发布
阅读量317 收藏
点赞数
分类专栏： 算法论文
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiaozhanzhe1900/article/details/103655459
版权

文章目录

  • 题目：Deep Compression compressing deep neural networks with pruning, train quantization and huffman coding
  • 时间：2016
  • 会议：ICLR
  • 研究机构：韩松
  • 可以参考的博客：https://blog.csdn.net/u013082989/article/details/77915375

1 缩写 & 引用

2 abstract & introduction

在这里插入图片描述
提出的deep compression分三步：减枝、量化、霍夫曼编码

  1. 减枝：权重小于阈值的就去掉，这样就可以用稀疏矩阵的格式如CSR和CSC来存储权重
  2. 量化：利用了weight sharing，存一个对照表，这样就只需要存index而不是确定的值，实现过程用到了k-means，当然也要retrain
  3. 霍夫曼编码：权重的index、稀疏矩阵的index都不是均匀的，这就适合霍夫曼压缩了

在这里插入图片描述

在这里插入图片描述

tiaozhanzhe1900
关注
专栏目录
DEEP COMPRESSION（深度学习网络参数压缩）
南有乔木NTU的博客
01-02 1万+
DEEP COMPRESSION: DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING github 源码地址Introduce本篇论文是ICLR2016年的best paper，主要讲述关于深度学习网络参数的压缩工作。论文主要从下三点出发：
【韩松】Deep Gradient Comression_一只神秘的大金毛_新浪博客
Mys_GoldenRetriever的博客
12-25 448
《Deep Gradient Compression》 作者韩松，清华电子系本科，Stanford PhD，深鉴科技联合创始人。主要的研究方向是，神经网络模型压缩以及硬件架构加速。 论文链接：https://arxiv.org/pdf/1712.01887.pdf 本篇文章发表在 ICLR 2018，韩松之前有一系列模型压缩的研究，比如其博士毕业论文《EFFICIENT METHODS...
网络压缩论文整理(network compression)
weixin_30699465的博客
11-12 408
1. Parameter pruning and sharing 1.1 Quantization and Binarization Compressing deep convolutional networks using vector quantization Quantized convolutional neural networks for mobile devices Improvi...
模型压缩95%，MIT韩松等人提出新型Lite Transformer
hwaust2020的博客
06-21 789
文章目录长短距离注意力（LSRA）实验设置架构实验结果机器翻译与自动化设计模型的对比文本摘要 转载来源：https://zhuanlan.zhihu.com/p/146448576 Transformer 的高性能依赖于极高的算力，这让移动端 NLP 严重受限。在不久之前的 ICLR 2020 论文中，MIT 与上海交大的研究人员提出了一种高效的移动端 NLP 架构 Lite Transformer，向在边缘设备上部署移动级 NLP 应用迈进了一大步。 选自 arXiv，作者：Zhanghao Wu 等，
ICLR'22上的47页“神仙论文” | 子图聚合图神经网络
weixin_45519842的博客
03-01 723
论文地址：https://arxiv.org/pdf/2110.02910.pdf欢迎关注小编知乎：戴鸽一篇全文47页的ICLR文章，真的看不完。作者提出了一种新的等变子图聚合网络（ESA...
韩松博士论文【合集】.rar
12-20
深鉴科技创始人韩松博士论文，DNN压缩必看，深度学习加速必看。 请点击我的博客文章https://blog.csdn.net/qq_23546067/article/details/103626894，配合使用效果最佳。
深鉴科技、韩松的相关论文
12-12
COMPRESSING DEEP NEURAL.pdf Efficient Speech Recognition Engine.pdf EIE Efficient Inference Engine on Compressed Deep Neural Network.pdf Exploring the Regularity of Sparse Structure in Convolutional ...
网络模型剪枝-论文阅读《Learning both Weights and Connections for Efficient Neural Networks》
AManFromEarth的博客
06-18 1237
这是2015年NIPS的一篇经典的剪枝文章，由韩松大神所作，由于年代比较久远，所以就大概说一下它的重点内容，以便给模型剪枝有个初始印象。 Introduction 文章首先讲了LeNet、AlexNet和VGG这些当时经典的网络的参数量的非常大，同时需要的存储空间也越来越大；然后以能量消耗的角度谈了这些模型运行具体能消耗多少能量。这就引出了本文的目标，就是对较大的网络模型进行剪枝以降低能量消耗从而能在移动端实时运行。 文章提出的剪枝策略是：①在初始模型训练完成后，②移除权重低于特定阈值的所有连接，即从稠密连
文献阅读（56）
01-08
时间：2016 会议：ICLR 研究机构：韩松 可以参考的博客：https://blog.csdn.net/u013082989/article/details/77915375 1 缩写 & 引用 2 abstract & introduction 提出的deep compression分三步：减枝、量化、
网络模型剪枝-论文阅读-Deep compression
AManFromEarth的博客
06-24 1030
下载地址：《Deep compression: Compressing deep neural networks with pruning, trained quantization and Huffman coding》 这篇是韩松大神的代表作，是ICLR2016年的best paper，值得好好读一下。 其实这篇论文本质上是《Learning both Weights and Connections for Efficient Neural Networks》的极致扩展，是在这篇论文基础上继续压缩模型，
韩松Deep compression论文讲解——PPT加说明文字
祥瑞的技术博客
06-10 1万+
本文为Deep compression的论文笔记，相应的ppt及文字讲解 原论文《 Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding》https://arxiv.org/abs/1510.00149 相关论文 深鉴科技FPGA2017...
【深度神经网络压缩】Deep Compression （ICLR2016 Best Paper）
热门推荐
AutoVision (by 仙道菜)
06-19 2万+
做过深度学习的应该都知道，NN大法确实效果很赞，在各个领域轻松碾压传统算法，不过真正用到实际项目中却会有很大的问题： 1. 计算量非常巨大；2. 模型特别吃内存；怎么办？使用网络压缩技术咯！《Deep Compression》 是 ICLR 2016 Best Paper，将AlexNet从200MB压缩到6.9MB，而且不降低准确率！
神经网络压缩（6）：Exploring the Regularity of Sparse Structure in Convolutional Neural Networks
cookie_234的博客
06-29 2976
Exploring the Regularity of Sparse Structure in Convolutional Neural Networks方法介绍 目的： 探索稀疏性和预测精度之间的关系 能不能在稀疏性的规则中找到一个平衡点，这个点是如何提升硬件实现效率的 为了探索上面的问题，文章设置了几种不同的剪枝粒度等级，在前人的基础上进行对比实验，探索剪枝粒度和预测精度之间的关系
神经网络压缩（8）Incremental Network Quantization: Towards Lossless CNNs with Low-precision Weights
cookie_234的博客
07-19 8267
Incremental Network Quantization: Towards Lossless CNNs with Low-precision WeightsIntro英特尔中国研究院：INQ神经网络无损低比特量化技术 给定任意结构的全精度浮点神经网络模型，能将其转换成无损的低比特二进制模型
论文中著名会议和期刊的一些介绍（持续更新中）
Microstrong
06-02 1万+
我的个人微信公众号：Microstrong 微信公众号ID：MicrostrongAI 微信公众号介绍：Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！ 知乎主页：https://www.zhihu.com/people/MicrostrongAI/activities Git...
论文笔记:End-to-End Adversarial Retinal Image Synthesis
水不在深有江的博客
01-25 1242
这是一篇应用创新型文章，因此仅作较为精简的笔记。 本文使用GAN进行视网膜眼底图像合成，并将其应用于视网膜血管图分割模型的训练。 在本文之前，也有人使用过GAN进行视网膜眼底图像合成，缺点是： 由于采用(视网膜血管网络,视网膜眼底图像)成对训练，且视网膜血管网络又由真实视网膜图像经过另一个分割网络得到，所以一旦原始图像失焦，视网膜血管网络就会不完整，进而影响图像合成 本文提出的方法不再依赖于这...
韩松博士毕业论文（精简总结）
半度微凉的博客
02-24 562
https://blog.csdn.net/weixin_36474809/article/details/85613013
深度神经网络的压缩与加速综述
AliceLeeHX的博客
09-23 7448
引用本文： [如本文对读者朋友们的研究有所帮助，请添加如下参考文献] 纪荣嵘,林绍辉,晁飞,吴永坚,黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888. Ji Rongrong,Lin Shaohui,Chao Fei,Wu Yongjian,Huang Feiyue. Deep Neural Network Compression ...
参考文献
半度微凉的博客
02-25 1065
剪枝：Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding 量化：[1] Jacob B, Kligys S, Chen B, et al. Quantization and training of neural networks for e...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值