神经网络压缩联合优化方法的研究综述

摘要: 随着人工智能应用的实时性、隐私性和安全性需求增大，在边缘计算平台上部署高性能的神经网络成为研究热点。由于常见的边缘计算平台在存储、算力、功耗上均存在限制，因此深度神经网络的端侧部署仍然是一个巨大的挑战。目前，克服上述挑战的一个思路是对现有的神经网络压缩以适配设备部署条件。现阶段常用的模型压缩算法有剪枝、量化、知识蒸馏，多种方法优势互补同时联合压缩可实现更好的压缩加速效果，正成为研究的热点。本文首先对常用的模型压缩算法进行简要概述，然后总结了“知识蒸馏+剪枝”、“知识蒸馏+量化”和“剪枝+量化”3种常见的联合压缩算法，重点分析论述了联合压缩的基本思想和方法，最后提出了神经网络压缩联合优化方法未来的重点发展方向。

• 关键词: 
• 神经网络  /  
• 压缩  /  
• 剪枝  /  
• 量化  /  
• 知识蒸馏  /  
• 模型压缩  /  
• 深度学习  

深度神经网络已经被成功应用在计算机视觉、自然语言处理等任务中，并在特定应用场景中取得了超越人类水平的成功。随着深度神经网络模型层数的加深、参数量的剧增，其计算复杂度也在不断增加，这不但会导致推理速度变慢，而且在运行时会带来巨大的功耗。如果需要实现模型在工业界的应用落地，则大多只能在存储容量大、算力充足、供电稳定的服务器、工作站甚至数据中心部署，然而这会带来网络延迟问题、数据隐私安全问题以及硬件成本问题，因此对神经网络压缩以实现端侧部署的研究意义重大。

移动互联网的发展使得移动端设备得到了广泛的普及与应用，正成为人类日常生活不可或缺的一部分。人脸