论文地址:https://arxiv.org/abs/1808.06866
GitHub (PyTorch):https://github.com/he-y/soft-filter-pruning
"Soft Filter Pruning for Accelerating Deep Convolutional Neural Networks"这篇文章首先强调了结构稀疏的优势,基于结构稀疏的channel pruning不需要特定存储格式和算法库的支持,能够充分利用成熟算法库或框架以运行剪枝后模型,因而自然地适配PAI-Blade、TensorRT、MNN和AliNPU等DL推理框架或推理芯片。
文章同时提到传统的"hard filter pruning"依赖于预训练模型,且获得pruning mask之后直接删除pruned filters,结果导致随着模型容量的减少,推理精度急剧下降,尤其是剪枝比例超过50%的情况下,推理精度的下降将会非常显著;另外,为了恢复损失的精度,需要额外的、相对耗时的fine-tuning过程;并且,直接删除的filters不再接受参数更新 (hard pruned away),显得简单粗糙,通常为了获得较大的剪枝率,需要多次迭代地实施剪枝、fine-tune操作。