hjimce的专栏

学如逆水行舟,不进则退

深度学习(六十)网络压缩简单总结

一、网络修剪
网络修剪,采用当网络权重非常小的时候(小于某个设定的阈值),把它置0,就像二值网络一般;然后屏蔽被设置为0的权重更新,继续进行训练;以此循环,每隔训练几轮过后,继续进行修剪。
二、权重共享

对于每一层的参数,我们进行k-means聚类,进行量化,对于归属于同一个聚类中心的权重,采用共享一个权重,进行重新训练.需要注意的是这个权重共享并不是层之间的权重共享,这是对于每一层的单独共享

三、增加L2权重

增加L2权重可以让更多的权重,靠近0,这样每次修剪的比例大大增加。

四、从结构上,简化网络计算

这些需自己阅读比较多相关文献,才能设计出合理,速度更快的网络,比如引入fire module、NIN、除全连接层等一些设计思想,这边不进行具体详述。

阅读更多
版权声明:本文为博主原创文章,欢迎转载,转载请注明原文地址、作者信息。 https://blog.csdn.net/hjimce/article/details/51564774
个人分类: 深度学习
所属专栏: 深度学习
上一篇深度学习(三十六)异构计算CUDA学习笔记(1)
下一篇深度学习(四十二)word2vec词向量学习笔记
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭