Network slimming,一个比较好用的模型剪枝方法
由于深度学习模型大小以及计算资源的限制,导致将深度学习模型部署到如移动端的时候会受到一定的限制,为了解决这个问题,就形成了一个新的领域:模型压缩,即减少模型的参数以及计算量,并且依然保证模型的精度。常见的方法比如:量化、剪枝、蒸馏等,本文便是“剪枝”当中一篇非常经典的文章,也是比较有效果的一篇文章。本文方法其实比较简单:首先,使用L1 regularization对BN层的scaling factor进行稀疏化训练,然后将scaling factor较小的参数相连接的filter减掉,达到减少模型size.
原创
2020-06-24 17:43:14 ·
2297 阅读 ·
0 评论