深度学习高效计算与处理器设计

编者按：“夫因朴生文，因拙生巧，相因相生，以至今日。”在人工智能领域，机器学习研究与芯片行业的发展，即是一个相因相生的过程。

自第一个深度网络提出，深度学习历经几次寒冬，直至近年，才真正带来一波AI应用的浪潮，这很大程度上归功于GPU处理芯片的发展。与此同时，由于AI应用场景的多元化，深度学习在端侧的应用需求日益迫切，也促使芯片行业开展面向深度学习的专用芯片设计。如果能够将深度算法与芯片设计相结合，将大大拓展AI的应用边界，真正将智能从云端落地。

本文中，来自中科院自动化所的程健研究员，将带着大家一方面探索如何将深度学习高效化，另一方面讨论如何针对深度算法来设计专用处理芯片。

文末，提供文中提到参考文献的下载链接。

上图是本次汇报的大纲，主要从深度学习发展现状、面临的挑战、神经网络加速算法设计、深度学习芯片设计和对未来的展望五个方面来展开。

首先我们来看一下深度学习的发展现状。毋庸置疑的是深度学习目前在各个领域都取得了一些突破性的进展，上图展示了深度学习目前广泛应用的领域。

深度学习近年来取得的长足发展离不开三个方面，上图展示了其不可或缺的三个要素。一是随着互联网的发展产生的大数据，二是游戏行业的发展促使的如GPU计算资源的迅速发展，三是近年来研究者们对于深度学习模型的研究。在目前的情况下，给定一个应用场景，我们可以使用大量的数据和计算资源搭建非常深的网络模型来达到比较高的性能。然而在实际应用中，这些复杂网络由于需要很高的计算量难以很好地部署到设备上以满足实际应用的需求，所以如何减少深度神经网络计算量，成为深度学习领域中的研究热点。

另一方面，面向深度学习设计的芯片也受到了越来越多的关注。目前一些通用的芯片如CPU不能很好地适应神经网络这种计算量非常密集的操作，而计算能力强大的GPU由于其价格和功耗因素很难在大量终端设备上部署。所以如何设计一个面向深度学习的专用芯片达到速度和功耗的要求是目前比较火热的研究方向。

虽然现在对神经网络模型设计和深度学习芯片设计的研究很多，但依旧面临很多挑战。

面临的挑战之一是越来越复杂的网络模型，上图展示了近年来主流网络模型的参数和计算量等信息。可以看出随着网络规模越来越大，网络结构越来越复杂，由此带来的越来越大的计算量会是一个挑战。

面临的挑战之二是深度学习复杂多变的应用场景，主要包括在移动设备上算不好、穿戴设备上算不了、数据中心算不起三个方面。由于移动设备和可穿戴设备本身硬件比较小，允许运行的计算量非常有限，在面临非常复杂多变的应用场景的时候，往往不能满足实际需求。而目前存在的一些移动中心的计算由于其代价昂贵使得大多数人只能望而却步。

面临的挑战之三是近年来摩尔定理随着时间推移的失效，不能像以前一样仅仅依靠在硬件上堆叠晶体管来实现物理层面的性能提升。

目前深度学习面临的三个挑战促使我们从两个方面去思考，一是网络模型本身优化的问题，二是设计面向深度学习专用芯片来实现神经网络的高效计算。下面分别从这两个方面进行阐述。

在深度学习模型的优化计算方面，包括一些最近几年研究的工作，上图展示了三种方式，下面主要列出了一些比较适合芯片的神经网络加速计算的方法。

首先对于神经网络大部分的计算，无论是卷积层还是全连接层都可以转换成矩阵乘的基础操作，上图展示了这个过程，所以对矩阵乘进行加速的方法都可以引入到神经网络的加速中来，包括低秩分解、网络稀疏化、低精度表示等方法。

上图展示了低秩分解的基本思想，将原来大的权重矩阵分解成多个小的矩阵，右边的小矩阵的计算量都比原来大矩阵的计算量要小，这是低秩分解的基本出发点。