关闭

深度学习(六十)网络压缩简单总结

2629人阅读 评论(3) 收藏 举报
分类:
一、网络修剪
网络修剪,采用当网络权重非常小的时候(小于某个设定的阈值),把它置0,就像二值网络一般;然后屏蔽被设置为0的权重更新,继续进行训练;以此循环,每隔训练几轮过后,继续进行修剪。
二、权重共享

对于每一层的参数,我们进行k-means聚类,进行量化,对于归属于同一个聚类中心的权重,采用共享一个权重,进行重新训练.需要注意的是这个权重共享并不是层之间的权重共享,这是对于每一层的单独共享

三、增加L2权重

增加L2权重可以让更多的权重,靠近0,这样每次修剪的比例大大增加。

四、从结构上,简化网络计算

这些需自己阅读比较多相关文献,才能设计出合理,速度更快的网络,比如引入fire module、NIN、除全连接层等一些设计思想,这边不进行具体详述。

1
0
查看评论

深度网络模型压缩DEEP COMPRESSION

DEEP COMPRESSION主要流程: pruning(剪枝) trained quantization(量化训练) Huffman coding(霍夫曼编码) 首先通过学习重要的连接来修剪网络;接下来,量化权重以实施权重共享;最后,应用霍夫曼编码。实际效果可以将AlexNet 无准确率损失压缩...
  • Yan_Joy
  • Yan_Joy
  • 2017-07-26 19:29
  • 522

DEEP COMPRESSION(深度学习网络参数压缩)

DEEP COMPRESSION: DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING github 源码地址Introduce本篇论文是I...
  • zijin0802034
  • zijin0802034
  • 2017-01-02 23:01
  • 4157

Deep Learning(深度学习)之(六)【深度神经网络压缩】Deep Compression (ICLR2016 Best Paper)

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding 这篇论文是Stanford的Song Han的 ICLR2016 的 best pape...
  • boon_228
  • boon_228
  • 2016-06-20 08:48
  • 9629

深度学习模型压缩方法综述(一)

目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
  • wspba
  • wspba
  • 2017-07-21 21:17
  • 4843

【深度神经网络压缩】Deep Compression (ICLR2016 Best Paper)

做过深度学习的应该都知道,NN大法确实效果很赞,在各个领域轻松碾压传统算法,不过真正用到实际项目中却会有很大的问题: 1. 计算量非常巨大;2. 模型特别吃内存;怎么办?使用网络压缩技术咯!《Deep Compression》 是 ICLR 2016 Best Paper,将AlexNet从200M...
  • cyh24
  • cyh24
  • 2016-06-19 01:51
  • 16941

神经网络压缩:Deep Compression

本次介绍的方法为“深度压缩”,文章来源与2016ICLR最佳论文 《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman CodingIntroduction...
  • shuzfan
  • shuzfan
  • 2016-05-12 14:22
  • 12272

用神经网络进行文件无损压缩:斯坦福大学提出DeepZip

神经网络不仅可以分析、识别特征,提出预测,还可以压缩文件。斯坦福大学的研究者们最近提交的论文中,循环神经网络捕捉长期依赖关系的优势被用于无损压缩任务中,这种被称为DeepZip的技术已在文本和基因组数据文件中得到了实验。研究人员称,其结果颇具潜力。 ...
  • Uwr44UOuQcNsUQb60zk2
  • Uwr44UOuQcNsUQb60zk2
  • 2018-01-03 06:48
  • 103

网络压缩-量化方法对比

本次介绍的是一种压缩神经网络模型大小的方法,来自《2014 arxiv:Compressing Deep Convolutional Networks using Vector Quantization》。该方法和很多之前的神经网络压缩方法一样,基本只对全连接层有效,因此这里权作了解。由论文名可以看...
  • shuzfan
  • shuzfan
  • 2016-06-15 08:58
  • 4434

深度学习网络压缩2016年年度最佳3篇论文

  • 2017-10-23 17:10
  • 975KB
  • 下载

深度学习——浅谈CNN模型压缩技术

模型压缩的动机   最近几年,CNN已经成为了计算机视觉任务的主要技术手段,在图像分类、目标检测、深度估计、语义分割等方向都大放异彩。越来越大的数据集和越来越强的计算设备允许研究者不断探索更深更复杂的网络模型,例如从AlexNet、VGGNet到GOOGleNet、ResNets。ImageNet...
  • liumingpei
  • liumingpei
  • 2018-01-26 23:03
  • 37
    个人资料
    • 访问:1191728次
    • 积分:10168
    • 等级:
    • 排名:第2016名
    • 原创:181篇
    • 转载:0篇
    • 译文:1篇
    • 评论:507条
    个人简介
    声明:博文的编写,主要参考网上资料,并结合个人见解,仅供学习、交流使用,如有侵权,请联系博主删除,原创文章转载请注明出处。博主qq:1393852684。内推阿里,欢迎大牛砸简历……
    博客专栏
    最新评论