深度神经网络压缩与加速综述 Deep Neural Network Compression and Acceleration: A Review

13.深度神经网络压缩与加速综述
Deep Neural Network Compression and Acceleration: A Review

摘要：深度神经网络在人工智能的应用中，包括计算机视觉、语音识别、自然语言处理方面，取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储，阻碍了在资源有限环境下的使用，如移动或嵌入式设备端.为解决此问题，在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结，这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏．具体地，将概述一些经典深度神经网络模型，详细描述深度神经网络压缩与加速方法，并强调这些方法的特性及优缺点.此外，总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集，同时讨论分析一些代表性方法的性能表现.最后，根据不同任务的需要，讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.

关键词: 深度神经网络压缩, 深度神经网络加速, 参数剪枝, 参数共享, 低秩分解, 知识蒸馏

Abstract： In recent years, deep neural networks (DNNs) have achieved remarkable success in many artificial intelligence (AI) applications, including computer vision, speech recognition and natural language processing. However, such DNNs have been accompanied by significant increase in computational costs and storage services, w