论文题目:PRUNING FILTERS FOR EFFICIENT CONVNETS
出处:ICLR 2017
主要贡献:CNN在各种应用中的成功伴随着计算和参数存储成本的显着增加。最近减少这些开销的努力包括,在不损害原始精度的条件下的剪枝和压缩各层的权重。论文就是提出了对卷积层进行剪枝操作,然后进行retrain恢复精度。
实现框架:
输入:
过程:
输出:
细节实现:
权重的绝对值越小,则权重的作用也就越小。
1.本文使用的是filter的绝对值的和来衡量这个filter的作用,即 ∑|Fi,j| , (L1范数)
2.选择前m个最小的绝对值删除
3.文章和随机选择相同数量的filters和选择最大值的结果比较,此方法最好。
4.更新一下模型,剩余的卷积核组成新的卷积核矩阵<