【荐读IEEE TPAMI】深度卷积神经网络的结构化剪枝：综述

Structured Pruning for Deep Convolutional Neural Networks: A Survey

深度卷积神经网络的结构化剪枝：综述

作者：Yang He; Lingao Xiao
源码：https://github.com/he-y/Awesome-Pruning

---

摘要

深度卷积神经网络（CNNs）的卓越性能通常归因于它们更深更宽的架构，这可能会带来显著的计算成本。因此，修剪神经网络已经引起了人们的兴趣，因为它有效地降低了存储和计算成本。与导致非结构化模型的权重修剪不同，结构化修剪提供了通过产生对硬件实现友好的模型来实现现实加速的好处。结构化修剪的特殊要求导致了众多新挑战的发现和创新解决方案的开发。本文综述了深度CNNs结构化修剪的最新进展。我们总结了并比较了最先进的结构化修剪技术，这些技术涉及滤波器排序方法、正则化方法、动态执行、神经架构搜索、彩票假设以及修剪的应用。在讨论结构化修剪算法时，我们简要介绍了非结构化修剪的对应部分，以强调它们之间的差异。此外，我们还提供了对结构化修剪领域潜在研究机会的见解。神经网络修剪论文的精选列表可以在 https://github.com/he-y/Awesome-Pruning 找到。一个提供更互动的结构化修剪方法比较的专用网站可以在 https://huggingface.co/spaces/