![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模型压缩
总结学习模型压缩过程中用到的方法
wendong97
这个作者很懒,什么都没留下…
展开
-
神经网络模型剪枝简单理解(基于tfmot)
模型剪枝简单理解1 概念2 引入3 过程4 权重筛选5 举例最近在学习模型剪枝的方法,尝试了TF官方的模型剪枝工具tfmot,这里对目前学习到的模型剪枝做简单总结。学习过程中参考了Sayak Paul的一篇文章Scooping into Model Pruning in Deep Learning1 概念剪枝是将神经网络中的不重要参数置为02 引入考虑函数 f(x) = x + 5x2,系数分别为1和5。下图可以看到,当第一个参数发生变化时,函数的输出不会发生太大变化。故舍弃这些系数并不会真正改变原创 2020-07-09 10:25:06 · 1712 阅读 · 1 评论 -
TensorFlow(tfmot)对神经网络模型剪枝
TensorFlow对神经网络模型剪枝1 安装2 导入模块3 训练一个基准模型4 剪枝预训练模型4.1 定义修剪计划和模型4.1.1 tfmot.sparsity.keras.prune_low_magnitude4.1.2 tfmot.sparsity.keras.ConstantSparsity4.1.3 tfmot.sparsity.keras.PolynomialDecay5 训练评估新的模型6 比较剪枝后的模型与基准模型7 创建比之前小三倍的模型7.1 将修剪后的模型转化为TF可压缩的模型7.2原创 2020-07-08 10:28:44 · 4476 阅读 · 9 评论