Network Slimming 算法笔记

最新推荐文章于 2024-08-10 15:52:57 发布

AI之路

最新推荐文章于 2024-08-10 15:52:57 发布

阅读量8.1k

点赞数 12

分类专栏：深度学习计算机视觉深度学习模型加速/模型压缩

本文链接：https://blog.csdn.net/u014380165/article/details/79969132

版权

本文介绍了一种名为Network Slimming的模型压缩方法，通过利用卷积网络中Batch Normalization层的γ参数来评估特征图的重要性。通过引入γ参数的L1范数约束，使网络在训练过程中自动学习到稀疏的γ分布，从而实现有效剪枝。剪枝后的网络需要进行微调以保持性能。实验主要在CIFAR-10和CIFAR-100数据集上针对VGG网络进行，结果显示了显著的加速和压缩效果。然而，该方法在ResNet和DenseNet等网络以及ImageNet数据集上的效果未明确验证。

摘要由CSDN通过智能技术生成

论文：Learning Efficient Convolutional Networks Through Network Slimming
链接：https://arxiv.org/abs/1708.06519
原代码（Torch实现）：https://github.com/liuzhuang13/slimming
第三方代码（PyTorch实现）：https://github.com/foolwood/pytorch-slimming

这篇是ICCV2017的文章，通过剪枝来做模型压缩和加速。我们知道在剪枝系列算法中，主要的不同点在于如何评价卷积核或者feature map的重要性，一般都是通过额外增加一些对原网络层的计算得到卷积核或feature map的重要性信息，而这篇文章的剪枝比较有特色，因为其通过网络原有的Batch Normalization层的γ参数进行feature map重要性评估（由BN层γ参数的含义可知feature map的每个channel对应一个γ值，所以这个γ值相当于该channel的重要性），然后将重要性低于某个阈值的feature map剪掉，剪掉feature map相当于生成这些feature map的对应卷积核也被剪掉，这就完成了剪枝的过程，如Figure1所示。factors那一列就是BN层的γ参数，其中比较小的值对应的feature map就会被剪掉（橙色）。