Soft Filter Pruning (SFP)——允许更新Pruned Filters的Channel Pruning策略

最新推荐文章于 2023-07-11 17:17:33 发布

Law-Yao

最新推荐文章于 2023-07-11 17:17:33 发布

阅读量2.8k

点赞数 3

分类专栏：深度学习模型压缩文章标签：深度学习人工智能模型压缩

本文链接：https://blog.csdn.net/nature553863/article/details/81065280

版权

Soft Filter Pruning (SFP)是一种改进的通道剪枝方法，它允许在每个训练epoch前将不重要的过滤器置零并继续更新，避免了传统硬剪枝导致的精度下降问题。这种方法适用于ResNet、ResNext和VGG等CNN网络，通过正则化降低过拟合风险，实现模型压缩和加速。实验表明，SFP在Cifar10和ImageNet2012上取得了良好的剪枝效果。

摘要由CSDN通过智能技术生成

论文地址：https://arxiv.org/abs/1808.06866

GitHub (PyTorch)：https://github.com/he-y/soft-filter-pruning

"Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks"这篇文章首先强调了结构稀疏的优势，基于结构稀疏的channel pruning不需要特定存储格式和算法库的支持，能够充分利用成熟算法库或框架以运行剪枝后模型，因而自然地适配PAI-Blade、TensorRT、MNN和AliNPU等DL推理框架或推理芯片。

文章同时提到传统的"hard filter pruning"依赖于预训练模型，且获得pruning mask之后直接删除pruned filters，结果导致随着模型容量的减少，推理精度急剧下降，尤其是剪枝比例超过50%的情况下，推理精度的下降将会非常显著；另外，为了恢复损失的精度，需要额外的、相对耗时的fine-tuning过程；并且，直接删除的filters不再接受参数更新 (hard pruned away)，显得简单粗糙，通常为了获得较大的剪枝率，需要多次迭代地实施剪枝、fine-tune操作。