剪枝论文
不合时宜的漫步者
劝退专业研究生在读
展开
-
剪枝系列5:CLIP-Q
CLIP-Q: Deep Network Compression Learning by In-Parallel Pruning-Quantization把剪枝和量化一起做的一个方法。以往的做法,剪枝和量化一般都是分开做的,这样很难达到联合最优化。论文代码是用caffe实现的。论文方法方法比较简单,直接放截图了。需要注意的是,在训练阶段,量化后的参数和原始参数都需要用到。原始参数用在反...原创 2019-11-14 21:50:51 · 418 阅读 · 1 评论 -
剪枝系列4:A Bayesian Optimization Framework for Neural Network Compression
这篇论文把贝叶斯优化用到了模型压缩中,提出了一个优化框架,具体压缩的方法可以灵活使用。超参数θ\thetaθ表示最终的网络有多小,比如,当使用剪枝方法时它是一个threshold,当使用SVD是它是一个rank。本文考虑的是如何选择压缩超参数θ\thetaθ。根据BO方法,我们需要确定objective function和acquisition function。Objective funct...原创 2019-11-01 21:54:43 · 459 阅读 · 0 评论 -
剪枝系列3:Accelerate CNN via Recursive Bayesian Pruning
Accelerate CNN via Recursive Bayesian Pruning用概率方法来剪枝,对层间的噪声用马科夫链建模,考虑了层与层之间的联系。数据驱动。论文方法xxx和yyy分别代表数据和标签。xlx^lxl代表第lll层的输入,WlW^lWl代表第lll层的参数,g(∗)g(*)g(∗)代表激活函数。则xl+1=Wl∗g(xl)x^{l+1}=W^l*g(x^l)x...原创 2019-10-30 21:29:39 · 514 阅读 · 0 评论 -
剪枝系列2:MetaPruning
MetaPruningMetaPruning:Meta Learning for Automatic Neural Network Channel Pruning代码:https://github.com/liuzechun/MetaPruning.论文贡献1、把元学习(meta learning)用到channel pruning上。2、不需要人工的参数设计。3、相比AutoML方法...原创 2019-10-30 16:58:21 · 852 阅读 · 4 评论 -
剪枝系列1:AutoPruner
剪枝系列1:AutoPruner这是此系列第一篇博客,也是我的第一篇博客,可能许多地方写的不好。主要目的是记录一下看过的论文,以后自己要用到的时候可以快速了解这篇论文的主要思想。AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference是2018年南京大学的一篇文章,...原创 2019-10-23 21:55:34 · 1024 阅读 · 1 评论