深度学习(六十)网络压缩简单总结

原创 2016年06月02日 10:56:45
一、网络修剪
网络修剪,采用当网络权重非常小的时候(小于某个设定的阈值),把它置0,就像二值网络一般;然后屏蔽被设置为0的权重更新,继续进行训练;以此循环,每隔训练几轮过后,继续进行修剪。
二、权重共享

对于每一层的参数,我们进行k-means聚类,进行量化,对于归属于同一个聚类中心的权重,采用共享一个权重,进行重新训练.需要注意的是这个权重共享并不是层之间的权重共享,这是对于每一层的单独共享

三、增加L2权重

增加L2权重可以让更多的权重,靠近0,这样每次修剪的比例大大增加。

四、从结构上,简化网络计算

这些需自己阅读比较多相关文献,才能设计出合理,速度更快的网络,比如引入fire module、NIN、除全连接层等一些设计思想,这边不进行具体详述。

版权声明:本文为博主原创文章,欢迎转载,转载请注明原文地址、作者信息。

Deep Learning(深度学习)之(六)【深度神经网络压缩】Deep Compression (ICLR2016 Best Paper)

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman co...

【深度神经网络压缩】Deep Compression (ICLR2016 Best Paper)

做过深度学习的应该都知道,NN大法确实效果很赞,在各个领域轻松碾压传统算法,不过真正用到实际项目中却会有很大的问题: 1. 计算量非常巨大;2. 模型特别吃内存;怎么办?使用网络压缩技术咯!《Deep...
  • cyh24
  • cyh24
  • 2016年06月19日 01:51
  • 15092

DEEP COMPRESSION(深度学习网络参数压缩)

DEEP COMPRESSION: DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZAT...

基于Caffe的CNN剪枝

背景 传统的CNN网络训练完之后,全连接层的权值矩阵动辄就几十万、几百万个参数值,可见CNN模型的庞大,但是仔细观察CNN的权值矩阵就会发现,里面有很多的参数的绝对值都很小,比如在-0.001到0....

剪枝+再训练:稀疏化DeepID2

压缩的核心剪枝再训练 算法流程 剪枝准则 实验分析 本次介绍的依然是压缩网络的方法,不过有了具体的应用场景:压缩的模型是DeepID2+。方法来源于《2015 arxiv: Sparsifyin...
  • shuzfan
  • shuzfan
  • 2016年06月17日 15:52
  • 5458

深度学习防止过拟合的方法

\quad过拟合即在训练误差很小,而泛化误差很大,因为模型可能过于的复杂,使其”记住”了训练样本,然而其泛化误差却很高,在传统的机器学习方法中有很大防止过拟合的方法,同样这些方法很多也适合用于深度学习...

自动化工具制作PASCAL VOC 数据集

1. VOC的格式 VOC主要有三个重要的文件夹:Annotations、ImageSets和JPEGImages JPEGImages 文件夹 该文件夹下存放着所有的训练集图片,格式都是.jp...
  • whlook
  • whlook
  • 2017年08月11日 08:59
  • 288

darknet 验证集的使用

./darknet classifier valid cfg/imagenet1k.data cfg/extraction.cfg extraction.weights 使用valid 去前向运算,...

【深度学习】1.2:简单神经网络的python实现

简单神经网络代码实现

深度学习中简单神经网络的实现

构建AlphaGo的深度学习技术,通过通俗易懂的方式,进行介绍。并通过Pyhton构建起一个简单的神经网络,通过“说做”结合,一窥深度学习的强大魅力。通过Python实现算法,通过编码的方式,实现两个...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习(六十)网络压缩简单总结
举报原因:
原因补充:

(最多只允许输入30个字)