(CVPR2023)Structured Pruning for Deep Convolutional Neural Networks: A survey - 基本信息

基本信息

作者/机构 Yang He, Lingao Xiao

期刊/会议/年份  CVPR2023

DOI/论文地址 Structured Pruning for Deep Convolutional Neural Networks: A survey | Papers With Code

https://arxiv.org/pdf/2303.00566v1.pdf

代码地址he-y/Awesome-Pruning: A curated list of neural network pruning resources. (github.com)

关键词

结构化剪枝，非结构化剪枝，深度学习，计算机视觉

摘要

深度卷积神经网络（CNN）的出色性能通常归因于它们更深、更宽的架构，但这可能带来显著的计算成本。因此，剪枝神经网络已经引起了人们的兴趣，因为它有效地降低了存储和计算成本。与权重剪枝不同，结构剪枝通过产生友好于硬件实现的模型，提供了现实加速的好处。结构剪枝的特殊要求导致了许多新的挑战的发现和创新解决方案的发展。本文概述了深度CNN的结构剪枝的最新进展。我们总结和比较了最先进的结构剪枝技术，包括过滤器排序方法、正则化方法、动态执行、神经架构搜索、彩票假设和剪枝应用。在讨论结构剪枝算法的同时，我们简要介绍了非结构化剪枝的对应算法，以强调它们之间的差异。此外，我们提供了关于结构剪枝领域潜在研究机会的见解。

主要内容

基于权重的剪枝

基于激活的剪枝

基于正则的剪枝

一些优化工具

动态剪枝

神经网络架构搜索NAS

剪枝知识相关扩展

未来的发展方向

实验