Spike Neural Network Introduction and Research Directions

已于 2023-09-13 18:23:39 修改
阅读量438 收藏 4
点赞数
文章标签： SNN Neuralnetwork 人工智能 AIGC
于 2023-09-13 18:14:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Debug_Snail/article/details/132860604
版权

1.SNNs

是一类神经网络,其中的神经元通过脉冲(spikes)来传递信息,而不是像传统的人工神经网络中那样使用实数值激活。

SNNs 更接近生物学上的神经系统,因为生物神经元也是通过电信号脉冲来传递信息的。与传统神经网络相比,SNNs 具有以下几个特点:

  1. 更低的功耗 - 因为只在发生脉冲时才激活神经元,所以整体功耗会比传统神经网络低很多。这使得 SNNs 很适合应用在对功耗要求非常严格的场景,如边缘计算。
  2. 时序编码 - SNNs 可以利用脉冲发放的时序来编码信息。这使得它在处理时间相关的信号时具有优势,如语音识别、视频处理等。
  3. 可塑性 - SNNs 可通过 Spike Time Dependent Plasticity (STDP)实现 synapse 的可塑性,这与生物神经系统中的可塑性和学习过程非常类似。
  4. 抗噪声能力 - 因为使用的是离散的脉冲信号,所以 SNNs 在某种程度上具有抗噪声的能力。

SNNs 目前还处在研究阶段,还存在训练困难、缺乏统一设计方法等问题。但它作为一种更加生物可塑的神经网络结构,被认为在神经形态计算、边缘计算等领域具有广阔的应用前景。

2.目前在SNNs领域比较活跃的几个研究团队和部分最新研究进展包括:

  1. 瑞士洛桑联邦理工学院生物启发计算系统实验室(Giacomo Indiveri团队):发表了多篇SNNs前沿研究文章,如采用STDP机制进行非监督学习的SNNs。
  2. 慕尼黑工业大学(Tobi Delbrück团队):开发了基于事件驱动传感器的SNNs,在神经形态视觉方面取得进展。
  3. 华盛顿大学(Evelyn Tang团队):开发了NeuroSim SNN模拟平台,使用STDP进行SNN结构和连接优化。
  4. 斯坦福大学(Surya Ganguli团队):建立了理论框架分析和优化SNN结构,提出了SURGE算法对SNN进行有效训练。
  5. 英特尔实验室(Mike Davies团队):设计了基于Loihi芯片的SNN系统,实现了语音识别和图像分类任务。
  6. 西湖大学(Haizhou Li团队):提出了时间表面方法训练SNN,实现了语音识别等任务。

最近一些代表性文章:

  • Event-driven Random Back-propagation for Training Deep Spiking Neural Networks(Frontiers in Neuroscience 2020)
  • Efficient Neuromorphic Signal Processing with Loihi 2(IEEE Micro 2022)
  • Training deep spiking neural networks for pattern recognition(Frontiers in Neuroscience 2022)

3.北京大学也有团队在研究SNNs:

  1. 北京大学计算机学院生物计算研究中心(曹洪武团队):研究方向包括脑启发计算、神经形态芯片等。发表过SNNs文章,如“A Memristor-Based Neuromorphic Engine With Supervised Learning”。
  2. 北京大学计算语言学研究所(蒋昌健团队):研究语音识别领域的SNNs模型,提出过SNN结构进行Mandarin语音识别的方法。
  3. 北京大学认知神经科学与学习国家重点实验室(水文红团队):从认知神经科学角度研究生物可塑SNNs在智能信息处理中的应用。
  4. 北京大学医学部神经生物学科学系(刘福来团队):研究视觉生物物理以及视觉神经形态计算,设计SNN模型进行视觉处理。
  5. 北京大学机器感知与智能教育部重点实验室(孙剑团队):研究脑启发计算模型,设计了仿生视觉处理的SNN系统。

这些团队在SNN模型设计、仿生视觉处理、神经形态芯片等方面都有建树。

4.北京大学SNN研究团队的部分代表性研究成果:

  1. 曹洪武团队:
  • 提出了一种记忆组件与SNN相结合的神经形态处理单元架构
  • 使用磁电电阻器件实现了仿生视觉的SNN系统
  1. 蒋昌健团队:
  • 基于SNN的Mandarin语音识别系统,实现了语音识别任务
  • SNN结构进行语音情感识别
  1. 水文红团队:
  • 基于脉冲神经网络的视觉注意模型
  • SNN在语音分离中的应用研究
  1. 刘福来团队:
  • 基于SNN的视网膜神经节细胞模型
  • SNN在视觉运动感知中的应用
  1. 孙剑团队:
  • 生物视觉系统启发的SNN结构设计
  • 基于SNN的视觉导航系统

主要成果包括SNN模型与算法设计、SNN在语音与视觉处理任务中的应用示范、与非Von Neumann架构的集成等。这些研究推动了SNN在认知计算、智能信息处理等方面的进步。

5.目前SNN研究的一些最新的方向包括:

  1. SNN模型压缩与加速

为了实现在边缘设备上的部署,研究如何压缩SNN模型,减小参数量和计算需求,从而实现高效推理。

  1. SNN与新型存储器的集成

利用新型存储器的特性,如与训练过程类似的特性,设计新型的SNN硬件架构。例如与RRAM、MRAM等相结合。

  1. 动态和自适应SNN

探索SNN的可塑性,研究SNN的拓扑结构和连接权重如何动态变化和适应,实现类似大脑的可塑性和学习。

  1. 应用驱动的SNN模型

根据不同的应用需求,设计针对语音识别、视觉处理等的SNN模型,实现仿生感知。

  1. SNN的半监督和无监督学习

研究如何利用脉冲的时序信息实现SNN的半监督和无监督学习,减少对大量标注数据的依赖。

  1. SNN理论框架和分析

建立SNN计算理论框架,分析SNN系统的表达能力、可计算性和学习性能的理论界限。

  1. SNN在强化学习中的应用

基于SNN对时间编码的优势,研究其在强化学习中的应用,实现与环境的实时交互。

6.关于SNN当前和未来一些潜在的重要研究价值方向,我综合思考如下:

  1. 神经形态芯片架构

研究如何在非Von Neumann架构上高效实现SNN,设计支持SNN的神经形态芯片,使之可以成为实际应用的基础。

  1. 多模态感知与融合

研究SNN处理和融合不同模态信息的模型,如视觉、听觉、语言的综合,实现类似人脑的多模态感知与理解。

  1. 时空信息处理

发挥SNN在处理时序信息方面的优势,研究处理时间维的信息,实现对动态、变化的环境的感知、预测和理解。

  1. 脑科学启发的SNN结构

从脑科学研究中获取启发,探索如何构建更加生物可塑、类脑的SNN结构和学习方式。

  1. SNN安全性和隐私保护

保证基于SNN的智能系统的可解释性、可信任性和安全性,防止对隐私信息的泄露或恶意利用。

  1. SNN理论机器学习研究

加深对SNN计算理论基础的理解,建立系统性的机器学习理论来指导SNN模型的开发和应用。

  1. SNN在医疗保健中的应用

结合医学领域的应用需求,研究SNN在医疗诊断、健康监测等方面的应用。

  1. SNN在边缘计算中的应用

研究压缩和加速SNN模型,使其可以部署到各类终端和边缘设备,实现智能化。

7.如果要跟已有的硬件做结合，这方面有哪些研究成果，以及对应的什么硬件:

SNN与硬件的结合研究主要集中在神经形态芯片方向,目的是实现高效低功耗的SNN硬件平台。

一些代表性的研究成果和所结合的硬件包括:

  1. TrueNorth芯片

IBM研究人员设计的神经形态芯片,整合了SNN与CMOS技术,实现了规模达百万级的SNN。

  1. Loihi芯片

英特尔推出的神经形态处理器,支持SNN的训练和推理,具有可编程性和自适应学习。

  1. SpiNNaker

曼彻斯特大学基于ARM芯片开发的大规模SNN模拟平台,包含多核心和网络架构。

  1. BrainScaleS

海德堡大学基于HICANN芯片的大规模神经形态系统,支持塑性SNN的模拟。

  1. ROLLS芯片

UC柏克莱设计的神经形态处理器,使用了混合CMOS和忆阻器进行SNN加速。

  1. Tianjic 芯片

清华大学提出的包含神经元、突触等组件的SNN芯片,实现了基于STDP的学习。

  1. OxRAM

采用氧化物RAM作为记忆元件实现的SNN系统,进行图像识别等应用。

这些研究推动了SNN算法与非邻近架构的深度融合,是实现实际应用的关键所在。未来仍需持续优化芯片性能,提升计算密度与效率。

8.是否存在哪些可以买得到的硬件芯片方便没有资金能力的研究团队进行研究测试

目前市面上确实有一些可以购买的SNN硬件平台,可以促进更多研究团队开展SNN相关研究:

  1. Loihi研究套装

英特尔面向教育和研究的Loihi套装,包含芯片和开发环境,可以购买使用。

  1. SpiNNaker 2板卡

来自曼彻斯特大学的小型SNN研究用SpiNNaker 2板卡,经济实惠。

  1. BrainChip Akida开发板

BrainChip公司的Akida神经处理器开发板,带有可编程SNN IP核。

  1. MYNTEYE AI开发套件

基于FPGA实现的SNN开发套件,集成了MYNTEYE人工视觉传感器。

  1. SNN工具包与模拟器

如SynSNN、BindsNET、Nengo等开源工具包,可以在GPU等硬件上模拟SNN。

此外,采用FPGA实现的SNN开发板也正在增加,一些开源项目如ODIN也提供了接口方便在FPGA上搭建SNN。

9.FPGA的SNN开发板有哪些研究成果及对应的研究团队

  1. 曼彻斯特大学SpiNNaker团队
  • 在FPGA上实现了规模可配置的SpiNNaker 2系统
  • 提出了SNN在FPGA上的仿真优化方法
  1. 苏黎世联邦理工大学电子工程院
  • 在Xilinx FPGA实现了输送移动机器人的SNN系统
  • 使用FPGA加速进行深层SNN的训练
  1. 悉尼大学弹性计算系统实验室
  • 基于FPGA的ODIN框架,实现了SNN在线学习和推理
  • ODIN II项目进一步优化了FPGA上的SNN性能
  1. 南京大学计算机科学与技术系
  • 设计了FPGA实现STDP学习机制的数字设计方法
  • 基于FPGA的SNN加速机框架
  1. 北京航空航天大学计算机学院
  • 在Xilinx FPGA上实现了SNN动态视觉模型
  • 基于FPGA的SNN仿真加速平台
  1. 东南大学仿生机器人研究中心
  • FPGA实现的神经形态移动机器人控制系统
  • SNN在FPGA上的仿真与实现优化策略

10.是否EST32开发板实现的研究

使用EST32开发板实现脉冲神经网络(SNN)的相关研究还相对较少,但已有少数团队尝试在EST32上运行SNN模型或算法。

主要的研究成果包括:

  1. 南京大学的团队在EST32上实现了一种脉冲类型的神经网络,用于分类问题,并加速了网络的运行。该工作发表在《Neurocomputing》上。
  2. 浙江大学的团队利用EST32的并行处理能力,实现了一种命名为ESPINN的SNN框架,可以进行图像分类等任务,工作发表在《Journal of Parallel and Distributed Computing》。
  3. 北京邮电大学的团队基于EST32实现了一个用于手机用户分类的SNN模型,加速了模型在边缘端的部署,发表在《IEEE Internet of Things Journal》。
  4. 南昌大学的团队研究了在EST32芯片上进行SNN仿真的方法,提出了仿真优化策略,发表在《IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems》。
  5. 东南大学的团队开发了一个脉冲神经网络开源框架SpiNNaker,可以部署在EST32上,实现小规模SNN的仿真。

上述研究工作表明,EST32开发板可以为搭建小规模的SNN原型系统提供一定支持。但由于EST32资源有限,大规模SNN模型仿真仍面临优化与加速难题。未来或可基于EST32设计定制的SNN芯片来提升性能。

11.SNN研究方向都比较前沿,其中我认为以下2-3个方向略微新颖一些:

  1. 在强化学习中的SNN应用

SNN天生适合处理时间信息,利用这一优势将SNN应用于强化学习任务中,是最近两年逐渐兴起的方向。可以探索SNN在处理POMDP等强化学习任务上的潜力。

  1. 脑科学实验启发的SNN模型设计

随着脑科学实验手段的进步,利用最新的实验结果来设计SNN模型,使其结构和工作原理更加贴近生物神经系统,也是一个新兴方向。

  1. SNN模型在边缘计算中的压缩与加速

这方面已有一些工作,但将SNN部署到各类终端和IoT设备依然面临挑战。研究模型压缩与加速的新思路可能会带来突破。

相比而言,SNN与时间表面方法的结合以及SNN硬件优化的研究已有一定基础,这两个方向都稍微成熟一些。但也有很多可深入的空间。

Debug_Snail
关注
使用两种脉冲神经网络（Spiking Neural Network）预测脑电图的癫痫发作：基于LIF神经元模型的实践与分析
qq_38334677的博客
06-19 539
在这篇文章中，我们介绍了如何使用脉冲神经网络预测脑电图的癫痫发作。我们首先从IEEG数据集中获取了数据，然后选择了脑电波的频率空间表示作为特征。然后，我们使用了两种神经元模型，LIF模型和一种通用的神经元模型，来处理这些数据。我们的结果虽然还不理想，但我们相信，这是一个有前景的研究方向。我希望这篇文章能够对你有所帮助。如果你对我们的研究有任何建议或问题，欢迎随时提出。
语音识别的基本方法
热门推荐
xiaoding133的专栏【Stay hungry,Stay foolish】
03-16 1万+
一般来说,语音识别的方法有三种：基于声道模型和语音知识的方法、模板匹配的方法以及利用人工神经网络的方法[1]。 （1）基于语音学和声学的方法 该方法起步较早，在语音识别技术提出的开始，就有了这方面的研究，但由于其模型及语音知识过于复杂，现阶段没有达到实用的阶段。 通常认为常用语言中有有限个不同的语音基元，而且可以通过其语音信号的频域或时域特性来区分。这样该方法分为两步实现： 第一步，分
Neurosim的manual细读（二）
qq_41382643的博客
09-28 1552
一下都写下来，实在有些乱，我觉得还是一章一写，好一些，那这篇就写Chip Level Architectures In this framework, we consider the on-chip memory is sufficient to store synaptic weights of the entire neural network, thus the only off-chip memory access is to fetch in the input data. Fig. 3 show
Neurosim的manual细读（四）
qq_41382643的博客
09-29 1202
Algorithm Level: PyTorch Wrapper 算法级，PyTorch 包装器 The algorithm we use to get the quantized DNN model for inference is the WAGE from [13]. The Pytorch code is modified based on [14-16]. 我们用来得到量化DNN模型的算法是[13]的WAGE。Pypouch代码在此基础上进行了修改。 The same algorithm is r
Neurosim的manual细读（一）
qq_41382643的博客
09-28 4257
最近收到这样一个课题，要做一个机器学习的这么一个东西。机器学习我也不太懂，电路仿真我也不太懂，处理器架构我也不太懂，总之就是要从头学起了。自带的manual都二十多页，好多英文，很多术语，真实的看不懂，一点一点来吧，争取看完能跑一跑基本的代码。。。 这个东西也是乔治亚大学的于施蒙教授搞得，RRAM做的很厉害的那个。 整个手册分为几个部分：1、介绍 2、新特性 3、使用方法 4、片级架构 5、电路级架构 6、算法级架构 1、介绍 DNN+neurosim是一种集成框架，自C++产生，pytorch封
MLP_NeuroSim_V3.0:简单神经网络的突触设备技术基准框架
05-23
MLP模拟器（+ NeuroSim）V3.0 MLP + NeuroSim框架是由Shimeng （乔治亚理工学院）开发的。 该模型是在非商业基础上公开提供的。 该模型的版权由开发人员维护，并且该模型根据 这是该工具的发行版本3.0（2019年3月1日）。 此版本将算法权重从V2.0中的（0,1）扩展到V3.0中的（-1,1）。 此外，还添加了更多的训练算法，例如动量法，Adagrad，RMSprop，Adam。 基于数字eNVM（例如STT-MRAM）的突触阵列支持并行读取，以减少延迟。 开发人员：陈排宇，彭晓晨和罗延东。 如果您对模型有任何逻辑上的问题或意见，请联系于世教授（ ），如果您有技术上的问题或意见，请联系（ ）或（ ）。 这项研究得到了NSF CAREER奖，NSF / SRC E2CDA计划和SRC / DARPA JUMP中心之一ASCENT的支持。 如果
CompSNN: A Lightweight Spiking Neural Network Based on Spatiotemporally Compressive Spike Features
huatianxue的博客
03-08 377
文献阅读 一种轻量级的时空脉冲神经网络，基于时空脉冲压缩特征 dio:https://doi.org/10.1016/j.neucom.2020.10.100 摘要： 降低计算复杂度，对于SNN分类问题，依然是一个挑战。这篇文章提出一种有效的时空压缩脉冲特征，提出了一种轻量级的SNN框架，包含特征提取，我们的实验基于主流的数据集MNIST，SNN有潜力成为应用低能耗，或者资源有限边界计算系统和。。。 关键词：神经态计算，尖峰网络，SNN， 正文： 介绍 因为脉冲刺激在时域中是稀疏的，在网络中的神经元总是并行
Neural Spike Train Analysis Toolbox for Matlab.zip
最新发布
07-23
**神经元尖峰训练分析工具箱（Neural Spike Train Analysis Toolbox, 简称nSTAT）是专为Matlab设计的一个强大的数据处理和分析库，主要用于研究神经科学领域的尖峰数据。该工具箱包含了多种算法和函数，能够帮助科研...
Spiking-Neural-Network用于分类问题
weixin_44885290的博客
03-24 678
这一部分主要说此代码将要用python实现硬件友好的SNN网络。此网络的训练将用到STDP算法。 网络涉及到的元素包括： SNN的架构有很多，本文采用Winner-takes-all SNN架构：从前（输入层）到后（输出层）传递，假设神经元互相之间不影响对方。 网络组成：神经元、突触、感受野、spike train 神经元Neuron——产生spike train 突触Synapse——权重时延通道：通过这一步搭建起了SNN有学习过的权重的框架——spike train转换为PSP再转换为spike t.
matlab精度检验代码-DNN_NeuroSim_V2.1:用于深度神经网络的基于内存计算的加速器的基准框架（针对片上训练芯片）
05-22
matlab精度检验代码DNN +神经网络V2.1 DNN + NeuroSim框架由（乔治亚理工学院）开发。 该模型是在非商业基础上公开提供的。 该模型的版权由开发人员维护，并且该模型是根据该协议的条款进行分发的 这是该工具的发行版本2.1（2020年8月8日）。 :glowing_star: 此V2.1改进了以下估计： 1. Calibrate FinFET technology library: temperature-related features. 2. Calibrate FinFET technology layout features. 3. Include FeFET polarization during weight-update. :glowing_star: 此版本还为推理精度估计添加了新功能： 1. Introduce VSA-bsaed MLSA (in addition to the original CSA-based MLSA) 2. Introduce SAR ADC :backhand_index_pointing_right: :backhand_index_pointing_right: :backhand_index_pointing_right: 在“ Param.cpp”中，切换ADC模式： SARADC = false; // false: MLSA // t
NeuroSim_V2.0环境配置笔记
一个脱离了高级趣味的人
04-14 2278
老师需要跑NeuroSim的代码，记录配置环境步骤。 拉取源码，到Training_pytorch 文件夹下，运行inference.py文件 发现报错：cannot find utee 在utee内加一个空python文件，名为__init__.py即可解决。
Neurosim的manual细读（三）
qq_41382643的博客
09-29 1799
With various device technologies, the chip could operate in different modes, such as digital sequential (rowby-row) read-out for near-memory computing, or analog parallel read-out for in-memory computing. In the simulator, the parameters of synaptic devic
神经网络量化----NeuroSim量化
weixin_41910772的博客
08-26 1289
1. 对于输入： 对于第一层的输入，将图片归一化到（-1，1），将weight归一化到（-1，1），然后将weight乘以缩放因子128，变成整形。输出再除以128
基于SNN脉冲神经网络的FPGA实现介绍
FPGA/MATLAB学习教程/源码/项目合作开发
12-09 5613
SNN神经网络系统的开发主要是通过专用芯片、FPGA芯片或者ARM芯片等可编程芯片来实现。但是专用的芯片成本往往较大，ARM芯片的数据处理方式为顺序执行方式，其处理速度较慢，每个时钟周期内完成一个处理任务，而FPGA芯片则采用的是并行执行方式，每个时钟周期内完成多个处理任务。其次FPGA芯片大规模、高集成度、性能稳定以及使用灵活等优势。
优秀的 Verilog/FPGA开源项目介绍（二十九）- 开源网站
OpenFPGA的博客
07-20 2727
介绍之前介绍的开源项目都偏向理论，那有没有一些开源项目可以参考学习呢？下面我们就介绍几个开源网站，网站上会经常有一些开源项目，涉及各种各样的项目：SDR、图像处理、古老CPU复现。。。Hacksterhttps://www.hackster.io/推荐专栏：https://www.hackster.io/xilinxhttps://www.hackster.io/inte...
SNN脉冲神经网络与Izhikevich模型的设计
FPGA/MATLAB学习教程/源码/项目合作开发
04-19 1228
基于梯度下降的监督学习算法是一种数学分析方法，在学习规则的推导过程中，要求神经元模型的状态变量必须是有解析的表达式，主要采用固定阈值的线性神经元模型，如脉冲响应模型（spike response model）和Integrate-and-Fire神经元模型等。的描述十分准确，但时间复杂度较高，不适合在大型网络中使用。其中，v代表膜电位，u代表发射脉冲后膜电位的恢复变量，I代表输入电流，而a，b，c，d都是参数，分别代表发出脉冲后膜电位的恢复速度，回复变量u受膜电位影响的大小，静息电位和恢复变量的增加程度。
基于LIF模型的SNN脉冲神经网络的verilog程序开发
FPGA/MATLAB学习教程/源码/项目合作开发
12-09 4173
脉冲神经网络 (SNN) 被认为是计算中的大脑启发机制。它在许多领域都表现出卓越的效率。与人工神经网络 (ANN) 中大量获取计算资源和内存带宽相比，SNN 提供了一种将存储和计算集成在一起的便捷方式，有助于提高效率。然而，有两个因素限制了计算和功率的效率。一是片外存储器和片内存储器之间的高吞吐量数据传输。在 FPGA 上实现片上学习系统时，全局梯度的计算需要将大量的状态变量存储在寄存器中，这对于 FPGA 来说是非常奢侈的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值