YOLOv5剪枝✂️ | 模型剪枝理论篇

1. 前言

这是来自一篇ICCV2017的经典模型压缩论文，文章中主要围绕两点内容进行讨论，第一点为“卷积层每个通道都是有用的吗？”第二点为“能否加入一些改进来凸显权重参数的重要性？”，虽然该论文已经发布了很多年，但是现在很多的剪枝算法的思路依然来源于这篇论文。

2. 摘要精读

在许多实际应用中部署深度卷积神经网络（CNN）很大程度上受到其计算成本高的限制。在本文中，我们提出了一种新的CNNs学习方案，能同时1）减小模型大小; 2）减少运行时内存占用; 3）在不影响准确率的情况下降低计算操作的数量。这种学习方案是通过在网络中进行通道层次稀疏来实现，简单而有效。与许多现有方法不同，我们所提出的方法直接应用于现代CNN架构，引入训练过程的开销最小，并且所得模型不需要特殊软件/硬件加速器。我们将我们的方法称为网络瘦身（network slimming），此方法以大型网络作为输入模型，但在训练过程中，无关紧要的通道被自动识别和剪枝，从而产生精度相当但薄而紧凑（高效）的模型。在几个最先进的CNN模型（包括VGGNet，ResNet和DenseNet）上，我们使用各种图像分类数据集，凭经验证明了我们方法的有效性。对于VGGNet，网络瘦身后的多通道版本使模型大小减少20倍，计算操作减少5倍。

3. 背景