Shallowing Deep Networks: Layer-Wise Pruning Based on Feature Representations—基于特征表示的分层剪枝

摘要

近年来，卷积神经网络(Convolutional Neural network, CNNs)在众多应用中取得了成功。然而，这些成功伴随着计算成本和计算资源需求的显著增加，这严重阻碍了在计算能力有限的设备上使用复杂的CNN。在这项工作中，我们提出了一种基于特征表示的分层剪枝方法，旨在将复杂的CNN简化为具有同等性能的更紧凑的CNN。与以往的基于权值信息进行连接式或过滤式剪枝的参数修剪方法不同，我们的方法是通过研究卷积层中学习到的特征来确定冗余参数，剪枝过程是在层级别进行的。实验表明，该方法能够显著降低计算成本，在不同数据集上，剪枝模型的性能与原始模型相当甚至更好。
关键词—模型剪枝，紧凑设计，卷积神经网络

1. 介绍

近年来，卷积神经网络(CNNs)被广泛应用于图像分类[1-4]、目标检测[5-6]、语义分割[7-8]和图片说明[9]等任务。虽然这些基于CNN的模型能够实现最先进的性能，部署它们通常需要密集的计算资源。例如，具有8层和超过6？107个参数的AlexNet[1]对于单个推理大约需要<