剪枝算法汇总

相关文档

  1. 剪枝方法汇总
  2. 训练剪枝模型方法
  3. 评估剪枝效果
  4. 剪枝的相关知识  代写

1 前言

剪枝目的,就是剪掉w和b种的不重要的部分,留下重要的。

压缩剪枝流程:一般流程为,训练好的模型--剪枝--retrain--剪枝。

剪枝分类,有slimming和pruning之分。怎么分呢?我就不说了。我也没弄懂。就像蠕变时效又叫做蠕变成型一样。

  1. 剪枝分为静态的和动态的。他们的区别是是否边训练边剪枝。
  2. 粗晶粒剪枝和细晶粒剪枝,这里说下,细晶粒剪枝效果更好,不过需要自己写框架。比如据我所知,tf和kera直接调用是不行的。

剪枝的关键在于如何去设置阈值,来剪掉不重要的。如何设置阈值呢?或者说用什么方法去滤掉不重要的值呢?

下面讲讲方法,

2 方法

01 简单粗暴的剪枝

直接剪枝,去掉w和b中百分之多少的值。

我查论文发现几种方法:

  • 只保留正值部分
  • 保留正值和负值中的百分之多少
  • 保留正值中的百分之多少
  • 去掉极大极小值

这种算法很粗暴,那么哪种方法?我的经验是根据激活函数,比如激活函数用relu,人家的目的就是保留正数部分,所以应该考虑是否滤掉非正数。如果用的prelu,那就要看率怎么保留正数与非正数。

02 数学方法--熵

根据概率熵来确定,就是统计某些值,把这个求出来的值作为标准/阈值

©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页