定点 浮点 神经网络 量化_【紫冬报告】程健：深度神经网络加速与压缩

CASIA 点击蓝字关注我们↑↑↑↑

今日聚焦

中科院自动化所程健研究员从背景沿革、技术分类、发展历程、具体应用、未来趋势等多方面详细介绍2017-2018年深度神经网络加速与压缩领域的关键研究进展。

郑板桥《赠君谋父子》诗言：“删繁就简三秋树，领异标新二月花”，意谓画作兰竹时要去其繁杂使之趋于简明，而针对不同意境则要发散引申、从而实现创新。在人工智能领域，深度神经网络的设计便如同绘制枝蔓繁复的兰竹，需要对其删繁就简；将其拓展至不同应用场景则如同引申意境，需要创新算法的支撑。

图片来自网络

1946年，世界上第一台通用计算机“恩尼亚克”诞生；七十余年后的今天，计算机不仅体积大为缩减，计算能力也极大提升。然而随着深度学习的崛起，计算设备可集成算法的能力边界也在不断拓展，当前我们仍面临着巨大计算量和资源消耗的压力。

深度神经网络作为目前人工智能的基石之一，其复杂性及可移植性直接影响着人工智能在生活中的应用，因此，学术界展开了深度网络加速与压缩领域的研究。

今天，来自中科院自动化所的程健研究员，将向大家介绍过去一年中深度神经网络加速与压缩方面的研究进展。(文末附上参考文献的下载链接)

  背景  

首先，我们来了解一下常用卷积神经网络的计算复杂度情况。

从上表可以看出，近年来网络层数越来越多，计算复杂度越来越高。过高的计算复杂度通常要求我们使用GPU或者高性能的CPU对神经网络进行运算。实际上，在深度学习应用的过程中，我们还面临很多如移动设备、嵌入式设备这样存在计算、体积、功耗等限制的设备，而这些约束导致现有的高性能深度神经网络无法在这些设备上进行有效的计算和应用。

这给我们提出了新的挑战：保持现有神经网络性能基本不变的情况下，如何大幅减小网络计算量、大幅削减网络模型存储，才能使得网络模型在资源受限的设备上高效运行。这正是我们做深度神经网络加速、压缩的基本动机。

加速与压缩技术分类简介

加速和压缩本身并不是同一件事，但通常情况下我们往往同时做加速和压缩，且二者都会给网络计算带来收益，因此我们今天把它们放在一起来讲。

网络加速与压缩技术据采用方法的不同大致可分为Low-Rank 、Pruning、Quantization、Knowledge Distillation等。目前存在很多体积较小、性能不错的紧致网络，其架构设计过程中也含有很多网络加速压缩的基本思想，因此我们今天也将Compact Network Design作为网络加速和压缩方法的一种来介绍。

会议论文分布

我们对2017年和2018年目前发表在国际顶会上有关网络加速和压缩的论文做了统计。