CCPrune

摘要

由于计算量巨大，深度卷积神经网络难以部署在资源受限的设备上。通道剪枝是减少计算量、加速网络推理的有效方法。大多数信道修剪方法使用来自稀疏网络的单个结构(卷积层或批量归一化层)的统计来评估信道的重要性。这些方法的局限性在于，它可能经常错误地删除重要的频道。有鉴于此，我们提出了一种结合卷积层权重和BN层比例因子的信道重要性评估方法——协同信道剪枝。该方法首先分别引入卷积层权重和BN层比例因子的正则化。然后结合卷积层的权重和BN层的比例因子来评估信道的重要性。最后，它可以删除不重要的通道，而不会降低模型的性能。实验结果很好地证明了该方法的有效性。在CIFAR-10上，它可以将VGG-19的FLOPs降低85.50%，同时只略微降低模型的精度，在不降低模型精度的情况下，它可以将Resnet-50的FLOPs分别降低78.31%

1.Introduction

近年来，深度卷积神经网络在图像分类[27，17，47，49]、目标检测[7，43，14，1，50]、语义分割[36，3]等计算机视觉领域取得了巨大成功。但随着CNNs性能的不断提升，网络模型的深度越来越深，存储空间和计算成本也越来越高。例如，对于单个图像分类，VGG [47]模型需要大约500 M的存储空间和150亿个浮点运算(FLOPs)。网络结构非常冗余。然而，大多数设备无法提供CNNs所需的足够存储空间和计算能力，这使得在资源受限的设备上部署CNNs通常很困难，例如移动设备、树莓Pi或物联网设备。特别是近年来，边缘计算[46]和自主车辆系统的发展越来越普及，这些领域的应用通常要求网络模型具有更高的实时性和更少的资源占用。
为了解决上述矛盾，人们提出了许多方法来减少网络模型的存储空间和计算成本。这些方法包括权重量化[4，42，6，51]，低秩分解[9，25，55]，剪枝[20，16，40，18，30，39，2]和知识提炼[5，21，52，44]。权重量化和低秩分解的应用场景非常有限。其中一些需要一个特定的加速框架来实现，比如TensorRT。知识提炼的学生网络结构难以确定，一般需要专业的人工设计。相对来说，剪枝更容易获得紧凑的网络，可以大大减少存储空间和计算成本
修剪可以分为两类:权重修剪[2，16]和通道修剪[20，40，18，30，39]。权重剪枝直接删除不重要的连接，容易产生不规则的网络结构和不连续的存储空间。同时，如[31，18]中所讨论的，权重修剪通常需要特定的软件或硬件支持，并且它们很难使用基本线性代数子程序(BLAS)。通道修剪可以直接删除不重要的通道，而无需更改网络结构，从而可以使用现有的框架来实现更有效的压缩和加速。
基于通道修剪的方法是一种非常有效和流行的修剪方法。大多数基于通道的剪枝方法引入稀疏正则化项来训练模型，使一些通道归零，然后删除这些通道。通过基于通道的剪枝方法得到的紧凑网络可以保持原有的结构，并可以利用现有的库实现有效的压缩和加速。
许多以前的方法仅基于单一结构(卷积层或批处理标准化层)来评估信道的重要性。如李等[31]提出基于范数准则来评价信道的重要性。他们认为，具有较小值的过滤器贡献较小，可以安全地移除，而不会降低模型的性能。刘等人[35]在批处理归一化(BN) [23]层的缩放因子上引入稀疏性正则化，使用这些缩放因子来评估相应通道的重要性。除了刘等人[35]。赵等[56]也考虑了BN层的参数，他们认为不仅需要考虑比例因子，还应该考虑偏移因子。我们称这些方法为“基于单一结构的通道修剪”。当这些方法仅使用卷积层或BN层来评估信道的重要性时，它们有时会错误地删除重要的输出特征图。在激活函数之前，他们没有全面考虑两个连续结构之间的关系。也就是说，当卷积层中的信道被判断为不重要时，其对应的比例因子可能是重要的，反之亦然。例如，李等人[31]基于范数准则评价了信道的重要性，但没有考虑BN层是否会改变信道的贡献能力。因此，该渠道将被误判为重要渠道。
本文提出了一种新的评估信道重要性的方法，即协同信道剪枝，该方法结合了卷积层权重和BN层比例因子。与以往的方法不同，信道修剪考虑了卷积层和BN层之间的关系。我们首先分别在卷积层权重和BN层比例因子上引入L1正则化。然后结合卷积层权重和BN层比例因子来判断信道的重要性，而不是依靠单个层的统计数据来评估信道的重要性。最后，我们可以删除不重要的通道，而不会降低模型的性能。我们使用一个贪婪算法在全局范围内迭代修剪所有通道。而不是像[31]那样对每一层进行敏感性分析，为每一层设置不同的修剪比例。为了保持网络的准确性，每次修剪后，我们都会对修剪后的网络进行重新训练，以恢复网络的准确性。对于CIFAR-10上的VGG-19[26]，我们的方法可以将VGG-19的FLOP降低85.50%，同时仅略微降低模型的精度。我们的贡献可以总结如下:
1.我们分析了仅考虑卷积层或BN层来评估信道重要性的工作。在激活功能之前，他们没有全面考虑两个连续结构之间的关系。为了解决上述问题，我们提出了一种新的剪枝方法，即协同通道剪枝，该方法结合了卷积层权重和BN层比例因子。
2.提出了一种结合卷积层权重和BN层比例因子的非重要性通道剪枝方法。首先分别引入卷积层权重和BN层比例因子的正则化。然后结合卷积层权重和BN层比例因子来评估通道的重要性。最后，我们可以删除不重要的频道。
3.实验结果表明，该方法是有效的。对于CIFAR-10上的VGG-19[26]，我们的方法可以将VGG-19的FLOPs降低85.50%，同时仅略微降低模型的精度。据我们所知，就我们所知，我们的工作首先考虑卷积层和BN层。
2. Related work
枝是一种非常有效的压缩方法，可以分为两类:非结构化剪枝[16]和结构化剪枝[？,35,31,22,19,53,37,12].
非结构化剪枝主要是删除个体权重。Han等[16]着眼于删除网络中不重要的连接，以减少网络参数和减少存储空间，这种方法根据大小删除阈值以下的连接。丁等人[13]提出在每次迭代中将所有参数分为两类，然后使用不同的更新规则进行更新，最后将不重要的参数清零。但是，非结构化剪枝会产生稀疏的网络结构，导致存储空间不连续。
相比之下，结构化修剪是更流行的方法。C-SDG [11]为了训练一些滤波器在单个点上聚集，可以在不降低模型精度的情况下删除同一点上的相似滤波器。丁等人[10]认为，选择合适的修剪层更为重要，为此，他们利用长短期记忆()来学习网络的层次特征，并提出了一种数据相关的软修剪方法queeze-Excitation剪枝(SEP)。Li等人[31]使用滤波器绝对值之和来评估滤波器的重要性。不重要的过滤器对输出要素图的贡献很小，可以安全删除。刘等[35]分析了BN层的操作，考虑了信道的重要性，使用比例因子的值来评估信道的重要性，与不重要的比例因子相对应的信道应该被删除。他们没有注意到BN层的转换会影响通道的贡献能力。赵等[56]也考虑了BN层的参数，他们认为不仅需要考虑比例因子，还应该考虑偏移因子。提出了一种数据驱动的稀疏结构选择[22]，它将缩放因子(一个新的参数)引入到指定的结构中，然后为该参数添加正则化。趋向于0的比例因子的相应结构将被删除。He等[18]采用软剪枝的方法，被剪枝的通道可以在后续的训练过程中恢复。于等[53]利用反馈传播计算渠道的重要度得分，得分低的渠道将被删除。He等人[19]提出几何中值来确定冗余信道。罗等[37]根据下一层的统计信息确定信道的重要性。然而，上述许多方法仅考虑权重和比例因子之一的统计信息来确定要删除的信道，而忽略了另一个的影响

除了剪枝，权重量化[24，4，6，15]，低秩分解[15，29，9]，知识蒸馏[21，52，44]也是非常有效的压缩方法。此外，这些方法并不相互对立，如Mishra等人[38]将知识蒸馏和权重量化结合起来实现更高的压缩，我们的方法也可以与这些方法相结合来实现进一步的压缩。