论文:https://arxiv.org/abs/1708.06519
代码:https://github.com/liuzhuang13/slimming
简介
由于深度学习模型大小以及计算资源的限制,导致模型部署时受到了很大阻碍,为了解决这个问题,就形成了一个新的领域:模型压缩。常见的方法有:量化、剪枝、蒸馏等。
本文便是“剪枝”当中一篇非常经典且有效果的一篇文章。
相关工作
图片来自:https://www.codenong.com/cs106948573/
图片来自:https://blog.csdn.net/h__ang/article/details/89376079
方法
1)使用L1 regularization对BN层的scaling factor进行稀疏化训练
2)将scaling factor较小的参数相连接的filter减掉,达到减少模型size的目标
3)再重新finetune剪枝后的网络
后面把论文读完,代码跑跑,再来填坑