智源导读：2021年6月1日，清华大学计算机系研究员、类脑计算研究会成员张悠慧，在北京智源人工智能大会智能体系架构与芯片论坛做了题为“类脑计算系统基础软件研究”的报告。报告首先简要阐述了类脑计算的概念和重要意义，分析了现阶段类脑计算的现状与需求，阐述了通用计算机系统和深度学习系统对于类脑计算系统研究的借鉴意义，简要介绍了所在团队在类脑计算领域的研究成果以及最新的类脑计算基础软件框架，最后对类脑计算研究进行了展望。
整理：王光华
01
为什么是类脑计算？
张悠慧认为类脑计算是指借鉴生物神经系统信息处理模式或结构的计算理论、芯片架构以及应用模型与算法的总称，是一个多学科交叉的研究。从多学科的角度看包括类脑计算软硬件系统等新颖计算机体系结构、模拟/数字或模数混合等方式定制的新型电子与光电子芯片、受到生物学和机器学习启发的网络模型及其学习/训练等方法以及利用类脑计算系统模拟和研究生物神经系统等。
多学科视角下的类脑计算
在现阶段，类脑计算机是以类脑计算芯片为核心的软硬件系统，适配主要以神经网络形式表达的各类智能计算应用。类脑计算以脉冲神经网络（SNN）为主要计算范式，由于SNN更趋近于生物神经基元、神经元之间的信息传输是以Spike即0101序列为主，具备事件驱动、细粒度、高并发、存算融合的特点。类脑芯片支持上述计算范式、针对这些特征做优化使得其计算能力、表达能力具有更大的潜力（目前，仍需要将潜力变成实力）。此外，发挥不断涌现的各类新型非易失性器件、工艺与电路的潜力，可以显著提升效能。
脉冲神经网络（简称SNN）——被称为第三代人工神经网络，在（近似）符合生物学特性的神经元和突触模型的基础上，在执行模型中引入了脉冲信号和时序信息；以异步的、(稀疏)事件驱动的方式工作
为什么研究类脑计算，它的未来是什么样子呢？图灵奖得主同时也参与本次智源大会的Patterson David认为重新定义体系结构是基础性创新，未来十年将是计算机体系结构的黄金十年[1]。受脑启发的体系结构设计则是后摩尔定律时代的计算机体系结构主要发展方向之一[2]，另一个是量子计算。在人工智能领域，类脑计算也被认为是实现下一代人工智能的重要技术路径之一，可能会带来智能计算的下一波浪潮[3]。
类脑计算的技术浪潮[3]
02
类脑计算现状与需求分析
张悠慧研究员从三个方面对类脑计算现状与需求进行分析。
第一，从神经科学的角度来看，类脑计算是非常重要的交叉学科。目前来看，该领域已经积累了大量与大脑回路结构/活动、神经元集群活动有关的实验数据，激发了研究生物物理学不同规模网络模型的热情。目前，基于类脑计算的数值模拟方法已经成为了继实验研究和理论研究之后，神经科学最重要的研究方法之一。将实验数据与计算模型匹配，才能通过计算仿真的方式表达问题。将已知的生物神经基元模型、神经网络结构、认知科学对大脑功能的抽象模型以及相关的实验数据作为约束条件，进行具有认知功能的SNN建模。使用生物神经网络模型来拟合各种实验数据，发现相应神经回路的功能原理，是将生物神经活动与智能行为结合起来的有效手段。这是一个很大的需求，而且也是推动交叉学科发展的一个大的基础。
神经网络算法应用于神经科学[4]
第二，从类脑智能应用角度来看，与神经科学的研究旨在解释自然现象的研究目的不同，类脑智能应用希望从脑科学等领域获得灵感。近年来出现将SNN表示/计算特性融合到深度学习开发框架中的工作。通过将深度学习领域的有效技术、算法融合进SNN，利用BP训练及其变种及其深度学习领域的各种资源，将深度学习框架的开发便捷性与SNN特性融合。其采用的优化方法不局限于生物约束，重视DNN与SNN融合的跨模态建模与应用，以追求卓越计算性能与应用智能。当前，由计算机研究人员开发的深度学习框架比较便捷、高效，而来自计算神经科学领域的SNN从计算机的角度来看不是那么方便，怎么把它们融入起来也是一个课题。
通常存在四种研究思路：一是直接将训练好的DNN模型转换成SNN模型。二是直接训练SNN网络模型。三是通过修改DNN模型使其具备SNN特性，可以降低转化为SNN模型所带来的精度的损失。四是，把DNN和SNN融合到一起，从而真正发挥各自的优势，例如清华类脑研究中心研究的天机芯片和系统。当前研究表明，采用SNN借鉴BP训练算法等方法，SNN与DNN开始出现相互借鉴乃至逐步融合的趋势。
天机芯片驱动自行车的混合网络结构[5]
第三，从类脑计算芯片的角度来看，随着大量的类脑芯片涌现，现有类脑芯片通常针对其目标应用需求归纳出硬件功能，各种芯片有其特定的软硬件接口、工具链与目标应用。对适配的应用而言，以端到端的co-design设计原则为主构建以类脑芯片为核心的软硬件计算系统支撑各类应用，这种方式效率很高。但是，该方式主要存在两个问题：一是软硬件紧耦合使得应用与系统软硬件绑定，缺乏可移植性，硬件约束暴露给开发层面，开发效率低。二是应用范围不明，因为芯片功能是归纳得来的；随着领域加速发展新的应用层出不穷，如何判断芯片的能力边界成为问题。当前，在这个领域里特别是做系统软件的人已经意识到这个问题，开始追求通用的类脑计算开发框架。通过提供高层次编程抽象，实现与具体芯片无关的统一开发框架，使硬件规格/约束对应用开发“透明”。然而这一愿景需要建立在硬件相关的接口能够逐渐稳定的基础之上。面对快速发展的智能计算领域，如果缺乏完备性理论，硬件接口只是根据应用具体需求或硬件规格归纳出来，那么接口很难稳定下来。
追求“通用”的类脑计算开发框架
概括的讲，类脑计算研究主要存在三个层次的问题：第一，软件平台碎片化，对来源于计算机科学的深度学习与来源于神经科学的SNN的融合支持不足。DNN很成熟了，D-SNN相对还好，SNN复杂程度远远超过了DNN，目前的支持还不够。第二，建模工具缺乏，缺乏将实验数据与计算模型等较高抽象层级的行为结合起来的辅助建模手段。第三，类脑计算系统软硬件紧耦合，缺乏相关完备性研究与通用性软件框架。
怎么去解决它们呢？可以从通用计算机系统和深度学习的发展当中得到启示。
1、通用计算机系统发展的启示。
任何一个计算系统都面临完备性问题，之所以现在开发程序不用关心硬件就是因为图灵完备性。所有可以计算的函数都是图灵可计算的，这是图灵论题里面的论点也被认为的一个事实。这个事实没有被证明也无法被证明，但是没有反例。只要系统是图灵完备的，就能运行一切可以计算的函数，也就实现了通用。目前来看，所有通用处理器指令集都是图灵完备的，几乎所有的高级语言都是图灵完备的。图灵完备的定义使得系统无论是一个语言还是一个指令集，如果能够去仿真一个通用图灵机，两个图灵完备系统之间可以等价的转换。任何一个高级语言写的程序，都能够被精确地转化为图灵处理器精确执行的等价序列。软件和硬件可以独立发展，这是一个非常好的事情。
2、深度学习发展的启示。
目前来说，深度学习的成功已经是毋庸置疑的，随着以GPGPU为代表的高性能算力平台的涌现以及以PyTorch、Tensorflow为代表的机器学习框架的发展，深度学习具有了便捷高效的通用软件开发平台。吸引广大开发人员，为大量新算法、模型与应用的提出与发展奠定系统基础。类脑计算研究碎片化的现状，既不利于融合，也不利于创新。所以，类脑计算亟需解决缺乏类似的基础软件平台的问题。
03
张悠慧团队工作
张悠慧团队在类脑计算领域有着非常坚实的研究基础，2014年开始围绕整个类脑计算领域开展研究，依托新兴器件设计芯片、工具链软件与应用开发工具，以高效支持类脑计算应用与算法。研发BSIM作为Deep SNN描述语言与软件模拟平台，以及FPSA等面向新型器件的神经形态芯片与工具链，在2020年提出“类脑计算完备性”这一重要概念，并发表在nature正刊上。
图灵完备性是指系统能够模拟一个通用的图灵机。通用图灵机计算过程是一个精确的一系列有限可组合的精确运算步骤的组合，在时间序列上展开。神经网络是以足够多的网络参数以任意精度拟合有界连接函数。类脑完备性的概念把计算过程看成是一个精确计算和一个通用拟合（或者通用近似）的结合。也就是说，只要能够接受一定的误差，就不需要通用图灵机来完成整个过程。
完备性的概念不限制系统的具体实现方式，所以张悠慧团队提出了一个层次结构，与上、中、下三层都是图灵完备的图灵计算机一样，类脑架构上层图灵完备、下层类脑完备，中间是编译层。利用构造性的算法，可以证明任何图灵可计算函数可以在类脑计算完备的前提下被转换成一个等价的模型。这样就实现了软硬件去耦合，通用计算的好处也都得到了。
类脑计算机层次结构 vs. 通用计算机层次结构
正如nature所发表的评论员文章所言：类脑完备性使得类脑系统软硬件能够去耦合的开发，是一种突破性的解决方法。引入了“渐进”的计算完备性，使不同类脑系统之间的比较成为可行。最重要的是，将有益于整合领域内应用、系统、芯片多个层面的协调开发与演进。
04
“通用”的类脑计算基础软件研究
张悠慧团队认为当前类脑研究软件领域的碎片化问题严重，针对这一问题团队从四个层面着手。第一层：支持机器学习和计算神经学的统一表达。第二层："生物学可行的"自动神经网络建模与优化。第三层：软硬件去耦合的网络编译与可扩展的完备的硬件原语集合。第四层：类脑硬件的高效运行时环境。
“通用”的类脑计算基础软件需求
为了承接不同应用的需求，张悠慧团队开发了相应的基础软件框架。其本身基于PyTorch做底层架构，同时具备大量自定义的神经元、突触类型。因为SNN本身非常复杂，需要从三个维度进行判断。第一，点模型还是多房室模型；第二，简单模型还是复杂模型；第三，通过显式方法还是隐式方法求解，不同模型的计算复杂度相差3~4个数量级。该框架对其中重要的特性提供较好的支持，应用开发者能直接应用起来而不必深入了解底层原理。与BindsNet等研究工作相比性能更优异，并且还有很大的提高空间。
“通用计算” + “通用近似”编译
05
展望
张悠慧总结到，该研究的根本目的是希望能够整合应用/系统/芯片多个层面的协调开发与演进，所以要建立通用的计算框架。以它作为牵引，通过编译支持不同的硬件，把各个层次的工作融进来，把类脑计算系统做的更快、更好用。
除此之外，正如德国Max Planck生物控制论研究所前任所长Valentino所言，“如果你能设计具有认知能力的人工系统，只要这些系统是由可重复使用的受生物启发的计算模块在生物上合理的结构中互连而成，就可以通过快速设计与迭代改进来加速假设、测试与验证流程，进而了解相应的能力在生物大脑中的运作方式，就可以沿着创建具有类脑智能的人工系统的道路前进。”张悠慧认为这是一种方法论，即通过研究类脑系统的工作原理——对类脑计算机所需要的模块以及如何形成认知能力进行快速迭代——除了加速已知任务的性能、降低功耗之外，类脑计算效率的提高将加速对人脑的理解进而促进未来AI的发展，因此这一迭代流程本身也很有意义。
[1] John L. Hennessy, David A. Patterson. A New Golden Age for Computer Architecture. Communications of the ACM, February 2019. DOI: 10.1145/3282307.
[2] Waldrop MM. The chips are down for Moore's law. Nature. 2016 Feb;530(7589) 144-147. DOI:10.1038/530144a.
[3] Jack D. Kendall et al. The building blocks of a brain-inspired computer, Applied Physics Reviews (2020). DOI: 10.1063/1.5129306
[4] A General LSTM-based Deep Learning Method for Estimating Neuronal Models and Inferring Neural Circuitry. bioRxiv 2021.03.14.434027
[5] Towards artificial general intelligence with hybrid Tianjic chip architecture. Nature 572, 106–111 (2019). https://doi.org/10.1038/s41586-019-1424-8
5
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
