Soft Filter Pruning（SFP）算法笔记

最新推荐文章于 2025-03-11 08:02:46 发布

AI之路

最新推荐文章于 2025-03-11 08:02:46 发布

阅读量9.3k

点赞数 8

分类专栏：深度学习计算机视觉深度学习模型加速/模型压缩

本文链接：https://blog.csdn.net/u014380165/article/details/81107032

版权

本文介绍了Soft Filter Pruning (SFP) 算法，一种用于加速深度卷积神经网络的模型压缩方法。与Hard Filter Pruning相比，SFP在剪枝后仍保留被剪枝卷积核，允许它们在后续训练中继续迭代，从而在不使用fine-tune的情况下也能获得良好效果。通过计算卷积核的L2-norm并依据剪枝概率进行剪枝，SFP在多个epoch中逐步优化模型，有效减少计算量。实验表明，SFP在CIFAR-10和ImageNet数据集上表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文：Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks
论文链接：https://www.ijcai.org/proceedings/2018/0309.pdf
代码链接：https://github.com/he-y/soft-filter-pruning

这篇是IJCAI 2018的关于模型加速压缩的文章，思想简洁而且有效，主要是和Hard Filter Pruning（HFP）做对比，HFP是比较常见的剪枝方式，一般是按照某些指标对卷积核进行排序，然后直接剪掉不符合指标的卷积核，然后做fine tune，fine tune的时候网络中就不包含那些被剪掉的卷积核。这篇文章主要提出了通过Soft Filter Pruning (SFP)做模型加速，SFP和HFP的不同点在于剪掉的卷积核依然参与下一次迭代更新，而并不是剪掉一次就永远没有了，而且SFP在不采用fine tune的情况下依然能够有不错的效果，因为SFP在每个epoch结束后会进行剪枝，剪枝后就会再训一个epoch，然后继续剪枝，这种方式显然也比HFP省时间。之所以要采用SFP，很重要的一个原因是为了提高模型的效果，因为HFP那种方式相当于直接丢掉剪掉的卷积核，而SFP相对而言没那么极端，这也是这两种剪枝方式名称中soft和hard的含义。

Figure1是关于Hard Filter Pruning和Soft Filt