Spiking Neural Networks Hardware Implementations and Challenges A Survey

xiaolongren969

已于 2022-10-07 18:59:42 修改

阅读量691

点赞数

分类专栏： SNN 文章标签：人工智能机器学习深度学习

于 2022-10-07 17:51:37 首次发布

本文链接：https://blog.csdn.net/xiaolongren969/article/details/127196848

版权

SNN 专栏收录该内容

4 篇文章 1 订阅

订阅专栏

在这里插入图片描述

abstract：

Neuromorphic computing is henceforth a major research field for both academic and industrial actors. As opposed to Von Neumann machines, brain-inspired processors aim at bringing closer the memory and the computational elements to efficiently evaluate machine learning algorithms. Recently, spiking neural networks, a generation of cognitive algorithms employing computational primitives mimicking neuron and synapse operational principles, have become an important part of deep learning. They are expected to improve the computational performance and efficiency of neural networks, but they are best suited for hardware able to support their temporal dynamics. In this survey, we present the state of the art of hardware implementations of spiking neural networks and the current trends in algorithm elaboration from model selection to training mechanisms. The scope of existing solutions is extensive; we thus present the general framework and study on a case-by-case basis the relevant particularities. We describe the strategies employed to leverage the characteristics of these event-driven algorithms at the hardware level and discuss their related advantages and challenges.

神经形态计算从此成为学术界和工业界的一个主要研究领域。与冯·诺依曼机器相反，脑灵感处理器旨在将记忆和计算元素结合起来，以有效评估机器学习算法。最近，峰值神经网络, 使用模拟神经元和突触的计算原语的一代认知算法运算原理，已经成为深度学习的重要组成部分。他们有望改善神经网络的计算性能和效率，但它们最适合硬件能够支持他们的时间动态。在本调查中，我们介绍了硬件实现的现状以及从模型选择到训练的算法阐述的当前趋势机制。现有解决方案的范围很广; 因此，我们提出了总体框架和研究具体情况具体分析相关的特殊性。我们描述了在硬件级别利用这些事件驱动算法的特性所采用的策略，并讨论了它们的相关优势和挑战。

1、Introduction

传统的冯诺依曼计算机架构评估神经网络算法需要大量的时间和能耗。
需要对低功耗硬件和算法进行协同设计。
由于事件驱动的稀疏性，SNN可以简单的实现低功耗硬件评估。(但现在不清楚SNN的硬件实现是否有效)

2、SNN WORKING PRINCIPLES

2.1 Introduction to Neural Networks ：

ANN的两个特点：

作为非线性通用逼近器的潜力。
训练ANN的可行性。

在这里插入图片描述

生物神经元的示意图
在这里插入图片描述

全连接神经网络示意图

在这里插入图片描述

后神经元对从前神经元到来的激活值 $x$ 和其对应的突触权重 $w$ 进行乘加操作并向结果加上一个 $b$ 的偏移项。

在这里插入图片描述

峰值神经元的示意图

SNN的一般设计规则：

当一个突触从它的突触前神经元接收到动作电位，也被称为脉冲，它就会发出突触后电位(PSP)，从而产生刺激突触后神经元的膜电位。神经元膜电位是输入突触刺激的函数，并随时间而演化。如果电位超过一个阈值，突触后神经元就会激活(也就是说，它会以脉冲的形式发出动作电位)。

Maass认为，在机器学习应用中，SNN应该能够与正式神经网络(而不是脉冲神经网络)的计算能力进行竞争并超越。在这篇文章中，Maass比较了实现一个功能所需的单元数，并证明了通过使用脉冲神经元，任何功能所需的单元数都是相同的，而特定功能所需的单元数可能更少。

2.2 Information Representation Using Spiking Neurons ：

在这里插入图片描述

编码类型

使用脉冲的不同形式表示信息：

速率编码（ $rate\ coding$ ) : 在一个观察周期内发射脉冲的平均发射速率。
$the\ time\ to\ first\ spike$ (TTFS) :其中激活强度与神经元的放电延迟成反比, 膜电位最高的神经元首先放电。
$inter-spike\ interval$ (ISI) :连续尖峰之间的精确延迟。

Fairhall 等人认为真正的大脑交流利用了这三者编码方式的结合。

2.3 General Hardware Implementation Strategy

snn的仿真通常通过离散时间和评估每个神经元在每个算法时间步上的状态来实现。时间步长越短，模拟越精确，但持续时间越长。

需要专用设备来加速SNN的计算。

name	By
BrainScaleS	a European Consortium
Loihi	Intel
Neurogrid	Stanford University
ROLLS	Institute of Neuroinformatics
SpiNNaker	University of Manchester
TrueNorth	IBM

在这里插入图片描述

不同尺度下的神经形态硬件描述

在输入/输出中，一个核通过地址事件表示(AER)协议，通过类似于片上网络(NoC)的通信方案，接收/发送峰值。只要路由器和控制电路能够管理AER请求，这种类型的体系结构是可扩展的。

在这里插入图片描述

神经形态硬件映射策略的两种不同算法

一个核计算神经网络中的一层。
每个神经核将计算神经网络层的一个子部分。

3、BRAIN-INSPIRED SNNS

人类大脑的860亿个神经元消耗约25W

大脑启发式计算目的：

利用神经科学的发现来实现低功耗机器学习，或者提高现有系统的性能，比如容错硬件。
在芯片上实现生物似然的动态元素，以加速神经科学研究或与真实的生物系统顺利交互。

3.1 Computation in the Brain ：

LIF（leaky integrate and fire）：

在这里插入图片描述

典型LIF神经元膜电位的时间演化

当一个脉冲输入到神经元(即 $x_i (t−1)= 1$ )时，与该脉冲相关的突触权重 $w_i$ 将被整合到细胞膜上。当膜电位 $V_m$ 超过阈值 $V_t$ 时，神经元启动(即 $y_i = 1$ )并重置其膜电位。然而，如果未达到不应期时间(即，从最后一个输出峰值开始的时间小于 $T_R$ )，神经元不放电，即使它的膜电位高于阈值。此外，由于泄漏，在两个输入峰值之间的泄漏速率下，膜电位持续下降。

LIF神经元的重要参数是膜阈值电压、复位电位、不应期和泄漏率。(可以使用复杂机制定义这些参数)

膜电压表达式：

在这里插入图片描述

输出表达式：

在这里插入图片描述

复位的两种方式：

将电势重置为恒定值 $V_r$
从当前膜电势中减去重置值。

实现IF神经元所必需的电子元件包括用于集成的加法器、用于阈值检测的比较器和用于膜电位存储的存储器

突触模型：

long-term potentiation (LTP)
short-term potentiation (STP)

其他计算元件：

CNN
WTA（Winner-take-all）
Neuron firing synchrony
LSMs（liquid state machines）

3.2 Brain-Inspired Technologies :

自主和鲁棒系统
事件驱动的传感器

4、NEUROMORPHIC MACHINE LEARNING ACCELERATORS

模拟时间随网络的深度和模拟的时间分辨率而变化。

4.1 Core Organization for Low-Power SNN Evaluation ：

单个核心集成了PEs来评估神经元膜电位、存储突触值和神经元状态的记忆、接收和发射峰值的输入和输出接口以及控制电路。
数字实现SNN只需要加法器，这与ANN的MAC运算符相比，大大降低了计算成本。但无论是时序信息(用于片上学习、泄漏和不应期机制)还是神经元状态变量(膜电位、阈值)都需要存储，这就需要补充存储器。

减小存储负载的方法：

它在神经核内的分布，使用分层内存预加载数据，以及使用一种新型的非易失性内存(NVM)设备。

4.2 Reduced Communication Cost ：

AER协议：

它由在具有异步逻辑的数字总线上发送包含峰值神经元地址的唯一数据包组成。一旦神经元触发，它的地址就被发送到NoC，触发时间在异步总线上实时编码。
首先, Boahen表明它可以减少网络总线的大小，同时保留大量的连接容量。因此，AER NoC对于面积的要求最低，可以进行大规模设计。除了将传输的数据包减少到单个地址之外，它还保证了小的延迟和功率(由于交换活动)开销。此外，SNN的神经元活动稀疏性削减了NoC活动，减少了网络上发送的数据包数量。

4.3 Leveraging High Sparsity of Dataflow ：

比较ANN和SNN的一个主要问题来自于输入数据转换

4.4 Exploiting Fault Tolerance of Neural Networks ：

网络压缩和经典近似计算。
在软件和硬件层面，都可以在功耗和速度方面取得重要的进步。
网络压缩技术和近似计算是否可扩展并适用于任何任务是不确定的。

4.5 Crossbar Array With Memristive Devices :

在这里插入图片描述

the crossbar array：

旨在将神经核的内存和神经元更新部分合并到单个单元中，从而实现速度和能量的增益，并真正实现非冯·诺依曼计算。

在这里插入图片描述

crossbar array 实现示意图

crossbar array由两条金属线以正交的方式交叉组成，在每一个交叉点的交叉点上有一个纳米电子设备模拟突触行为。一个方向代表突触前神经元的输出，另一个方向代表连接的突触后神经元。因此，模拟交叉棒阵列的操作包括在输入线上施加电压和读取相应输出线的电流。每个器件的电导(其电阻的倒数)象征着连接的突触权重，产生的电流按照基尔霍夫定律加在一起，点积被实现。

crossbar array特性：