Spike Neural Network Introduction and Research Directions

已于 2023-09-13 18:23:39 修改
阅读量467 收藏 4
点赞数
文章标签： SNN Neuralnetwork 人工智能 AIGC
于 2023-09-13 18:14:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Debug_Snail/article/details/132860604
版权

1.SNNs

是一类神经网络,其中的神经元通过脉冲(spikes)来传递信息,而不是像传统的人工神经网络中那样使用实数值激活。

SNNs 更接近生物学上的神经系统,因为生物神经元也是通过电信号脉冲来传递信息的。与传统神经网络相比,SNNs 具有以下几个特点:

  1. 更低的功耗 - 因为只在发生脉冲时才激活神经元,所以整体功耗会比传统神经网络低很多。这使得 SNNs 很适合应用在对功耗要求非常严格的场景,如边缘计算。
  2. 时序编码 - SNNs 可以利用脉冲发放的时序来编码信息。这使得它在处理时间相关的信号时具有优势,如语音识别、视频处理等。
  3. 可塑性 - SNNs 可通过 Spike Time Dependent Plasticity (STDP)实现 synapse 的可塑性,这与生物神经系统中的可塑性和学习过程非常类似。
  4. 抗噪声能力 - 因为使用的是离散的脉冲信号,所以 SNNs 在某种程度上具有抗噪声的能力。

SNNs 目前还处在研究阶段,还存在训练困难、缺乏统一设计方法等问题。但它作为一种更加生物可塑的神经网络结构,被认为在神经形态计算、边缘计算等领域具有广阔的应用前景。

2.目前在SNNs领域比较活跃的几个研究团队和部分最新研究进展包括:

  1. 瑞士洛桑联邦理工学院生物启发计算系统实验室(Giacomo Indiveri团队):发表了多篇SNNs前沿研究文章,如采用STDP机制进行非监督学习的SNNs。
  2. 慕尼黑工业大学(Tobi Delbrück团队):开发了基于事件驱动传感器的SNNs,在神经形态视觉方面取得进展。
  3. 华盛顿大学(Evelyn Tang团队):开发了NeuroSim SNN模拟平台,使用STDP进行SNN结构和连接优化。
  4. 斯坦福大学(Surya Ganguli团队):建立了理论框架分析和优化SNN结构,提出了SURGE算法对SNN进行有效训练。
  5. 英特尔实验室(Mike Davies团队):设计了基于Loihi芯片的SNN系统,实现了语音识别和图像分类任务。
  6. 西湖大学(Haizhou Li团队):提出了时间表面方法训练SNN,实现了语音识别等任务。

最近一些代表性文章:

  • Event-driven Random Back-propagation for Training Deep Spiking Neural Networks(Frontiers in Neuroscience 2020)
  • Efficient Neuromorphic Signal Processing with Loihi 2(IEEE Micro 2022)
  • Training deep spiking neural networks for pattern recognition(Frontiers in Neuroscience 2022)

3.北京大学也有团队在研究SNNs:

  1. 北京大学计算机学院生物计算研究中心(曹洪武团队):研究方向包括脑启发计算、神经形态芯片等。发表过SNNs文章,如“A Memristor-Based Neuromorphic Engine With Supervised Learning”。
  2. 北京大学计算语言学研究所(蒋昌健团队):研究语音识别领域的SNNs模型,提出过SNN结构进行Mandarin语音识别的方法。
  3. 北京大学认知神经科学与学习国家重点实验室(水文红团队):从认知神经科学角度研究生物可塑SNNs在智能信息处理中的应用。
  4. 北京大学医学部神经生物学科学系(刘福来团队):研究视觉生物物理以及视觉神经形态计算,设计SNN模型进行视觉处理。
  5. 北京大学机器感知与智能教育部重点实验室(孙剑团队):研究脑启发计算模型,设计了仿生视觉处理的SNN系统。

这些团队在SNN模型设计、仿生视觉处理、神经形态芯片等方面都有建树。

4.北京大学SNN研究团队的部分代表性研究成果:

  1. 曹洪武团队:
  • 提出了一种记忆组件与SNN相结合的神经形态处理单元架构
  • 使用磁电电阻器件实现了仿生视觉的SNN系统
  1. 蒋昌健团队:
  • 基于SNN的Mandarin语音识别系统,实现了语音识别任务
  • SNN结构进行语音情感识别
  1. 水文红团队:
  • 基于脉冲神经网络的视觉注意模型
  • SNN在语音分离中的应用研究
  1. 刘福来团队:
  • 基于SNN的视网膜神经节细胞模型
  • SNN在视觉运动感知中的应用
  1. 孙剑团队:
  • 生物视觉系统启发的SNN结构设计
  • 基于SNN的视觉导航系统

主要成果包括SNN模型与算法设计、SNN在语音与视觉处理任务中的应用示范、与非Von Neumann架构的集成等。这些研究推动了SNN在认知计算、智能信息处理等方面的进步。

5.目前SNN研究的一些最新的方向包括:

  1. SNN模型压缩与加速

为了实现在边缘设备上的部署,研究如何压缩SNN模型,减小参数量和计算需求,从而实现高效推理。

  1. SNN与新型存储器的集成

利用新型存储器的特性,如与训练过程类似的特性,设计新型的SNN硬件架构。例如与RRAM、MRAM等相结合。

  1. 动态和自适应SNN

探索SNN的可塑性,研究SNN的拓扑结构和连接权重如何动态变化和适应,实现类似大脑的可塑性和学习。

  1. 应用驱动的SNN模型

根据不同的应用需求,设计针对语音识别、视觉处理等的SNN模型,实现仿生感知。

  1. SNN的半监督和无监督学习

研究如何利用脉冲的时序信息实现SNN的半监督和无监督学习,减少对大量标注数据的依赖。

  1. SNN理论框架和分析

建立SNN计算理论框架,分析SNN系统的表达能力、可计算性和学习性能的理论界限。

  1. SNN在强化学习中的应用

基于SNN对时间编码的优势,研究其在强化学习中的应用,实现与环境的实时交互。

6.关于SNN当前和未来一些潜在的重要研究价值方向,我综合思考如下:

  1. 神经形态芯片架构

研究如何在非Von Neumann架构上高效实现SNN,设计支持SNN的神经形态芯片,使之可以成为实际应用的基础。

  1. 多模态感知与融合

研究SNN处理和融合不同模态信息的模型,如视觉、听觉、语言的综合,实现类似人脑的多模态感知与理解。

  1. 时空信息处理

发挥SNN在处理时序信息方面的优势,研究处理时间维的信息,实现对动态、变化的环境的感知、预测和理解。

  1. 脑科学启发的SNN结构

从脑科学研究中获取启发,探索如何构建更加生物可塑、类脑的SNN结构和学习方式。

  1. SNN安全性和隐私保护

保证基于SNN的智能系统的可解释性、可信任性和安全性,防止对隐私信息的泄露或恶意利用。

  1. SNN理论机器学习研究

加深对SNN计算理论基础的理解,建立系统性的机器学习理论来指导SNN模型的开发和应用。

  1. SNN在医疗保健中的应用

结合医学领域的应用需求,研究SNN在医疗诊断、健康监测等方面的应用。

  1. SNN在边缘计算中的应用

研究压缩和加速SNN模型,使其可以部署到各类终端和边缘设备,实现智能化。

7.如果要跟已有的硬件做结合，这方面有哪些研究成果，以及对应的什么硬件:

SNN与硬件的结合研究主要集中在神经形态芯片方向,目的是实现高效低功耗的SNN硬件平台。

一些代表性的研究成果和所结合的硬件包括:

  1. TrueNorth芯片

IBM研究人员设计的神经形态芯片,整合了SNN与CMOS技术,实现了规模达百万级的SNN。

  1. Loihi芯片

英特尔推出的神经形态处理器,支持SNN的训练和推理,具有可编程性和自适应学习。

  1. SpiNNaker

曼彻斯特大学基于ARM芯片开发的大规模SNN模拟平台,包含多核心和网络架构。

  1. BrainScaleS

海德堡大学基于HICANN芯片的大规模神经形态系统,支持塑性SNN的模拟。

  1. ROLLS芯片

UC柏克莱设计的神经形态处理器,使用了混合CMOS和忆阻器进行SNN加速。

  1. Tianjic 芯片

清华大学提出的包含神经元、突触等组件的SNN芯片,实现了基于STDP的学习。

  1. OxRAM

采用氧化物RAM作为记忆元件实现的SNN系统,进行图像识别等应用。

这些研究推动了SNN算法与非邻近架构的深度融合,是实现实际应用的关键所在。未来仍需持续优化芯片性能,提升计算密度与效率。

8.是否存在哪些可以买得到的硬件芯片方便没有资金能力的研究团队进行研究测试

目前市面上确实有一些可以购买的SNN硬件平台,可以促进更多研究团队开展SNN相关研究:

  1. Loihi研究套装

英特尔面向教育和研究的Loihi套装,包含芯片和开发环境,可以购买使用。

  1. SpiNNaker 2板卡

来自曼彻斯特大学的小型SNN研究用SpiNNaker 2板卡,经济实惠。

  1. BrainChip Akida开发板

BrainChip公司的Akida神经处理器开发板,带有可编程SNN IP核。

  1. MYNTEYE AI开发套件

基于FPGA实现的SNN开发套件,集成了MYNTEYE人工视觉传感器。

  1. SNN工具包与模拟器

如SynSNN、BindsNET、Nengo等开源工具包,可以在GPU等硬件上模拟SNN。

此外,采用FPGA实现的SNN开发板也正在增加,一些开源项目如ODIN也提供了接口方便在FPGA上搭建SNN。

9.FPGA的SNN开发板有哪些研究成果及对应的研究团队

  1. 曼彻斯特大学SpiNNaker团队
  • 在FPGA上实现了规模可配置的SpiNNaker 2系统
  • 提出了SNN在FPGA上的仿真优化方法
  1. 苏黎世联邦理工大学电子工程院
  • 在Xilinx FPGA实现了输送移动机器人的SNN系统
  • 使用FPGA加速进行深层SNN的训练
  1. 悉尼大学弹性计算系统实验室
  • 基于FPGA的ODIN框架,实现了SNN在线学习和推理
  • ODIN II项目进一步优化了FPGA上的SNN性能
  1. 南京大学计算机科学与技术系
  • 设计了FPGA实现STDP学习机制的数字设计方法
  • 基于FPGA的SNN加速机框架
  1. 北京航空航天大学计算机学院
  • 在Xilinx FPGA上实现了SNN动态视觉模型
  • 基于FPGA的SNN仿真加速平台
  1. 东南大学仿生机器人研究中心
  • FPGA实现的神经形态移动机器人控制系统
  • SNN在FPGA上的仿真与实现优化策略

10.是否EST32开发板实现的研究

使用EST32开发板实现脉冲神经网络(SNN)的相关研究还相对较少,但已有少数团队尝试在EST32上运行SNN模型或算法。

主要的研究成果包括:

  1. 南京大学的团队在EST32上实现了一种脉冲类型的神经网络,用于分类问题,并加速了网络的运行。该工作发表在《Neurocomputing》上。
  2. 浙江大学的团队利用EST32的并行处理能力,实现了一种命名为ESPINN的SNN框架,可以进行图像分类等任务,工作发表在《Journal of Parallel and Distributed Computing》。
  3. 北京邮电大学的团队基于EST32实现了一个用于手机用户分类的SNN模型,加速了模型在边缘端的部署,发表在《IEEE Internet of Things Journal》。
  4. 南昌大学的团队研究了在EST32芯片上进行SNN仿真的方法,提出了仿真优化策略,发表在《IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems》。
  5. 东南大学的团队开发了一个脉冲神经网络开源框架SpiNNaker,可以部署在EST32上,实现小规模SNN的仿真。

上述研究工作表明,EST32开发板可以为搭建小规模的SNN原型系统提供一定支持。但由于EST32资源有限,大规模SNN模型仿真仍面临优化与加速难题。未来或可基于EST32设计定制的SNN芯片来提升性能。

11.SNN研究方向都比较前沿,其中我认为以下2-3个方向略微新颖一些:

  1. 在强化学习中的SNN应用

SNN天生适合处理时间信息,利用这一优势将SNN应用于强化学习任务中,是最近两年逐渐兴起的方向。可以探索SNN在处理POMDP等强化学习任务上的潜力。

  1. 脑科学实验启发的SNN模型设计

随着脑科学实验手段的进步,利用最新的实验结果来设计SNN模型,使其结构和工作原理更加贴近生物神经系统,也是一个新兴方向。

  1. SNN模型在边缘计算中的压缩与加速

这方面已有一些工作,但将SNN部署到各类终端和IoT设备依然面临挑战。研究模型压缩与加速的新思路可能会带来突破。

相比而言,SNN与时间表面方法的结合以及SNN硬件优化的研究已有一定基础,这两个方向都稍微成熟一些。但也有很多可深入的空间。

Debug_Snail
关注
使用两种脉冲神经网络（Spiking Neural Network）预测脑电图的癫痫发作：基于LIF神经元模型的实践与分析
qq_38334677的博客
06-19 566
在这篇文章中，我们介绍了如何使用脉冲神经网络预测脑电图的癫痫发作。我们首先从IEEG数据集中获取了数据，然后选择了脑电波的频率空间表示作为特征。然后，我们使用了两种神经元模型，LIF模型和一种通用的神经元模型，来处理这些数据。我们的结果虽然还不理想，但我们相信，这是一个有前景的研究方向。我希望这篇文章能够对你有所帮助。如果你对我们的研究有任何建议或问题，欢迎随时提出。
语音识别的基本方法
热门推荐
xiaoding133的专栏【Stay hungry,Stay foolish】
03-16 1万+
一般来说,语音识别的方法有三种：基于声道模型和语音知识的方法、模板匹配的方法以及利用人工神经网络的方法[1]。 （1）基于语音学和声学的方法 该方法起步较早，在语音识别技术提出的开始，就有了这方面的研究，但由于其模型及语音知识过于复杂，现阶段没有达到实用的阶段。 通常认为常用语言中有有限个不同的语音基元，而且可以通过其语音信号的频域或时域特性来区分。这样该方法分为两步实现： 第一步，分
Neurosim的manual细读（二）
qq_41382643的博客
09-28 1616
一下都写下来，实在有些乱，我觉得还是一章一写，好一些，那这篇就写Chip Level Architectures In this framework, we consider the on-chip memory is sufficient to store synaptic weights of the entire neural network, thus the only off-chip memory access is to fetch in the input data. Fig. 3 show
脉冲神经网络编程平台
最新发布
qq_17743307的博客
09-18 269
需要注意的是，脉冲神经网络的学习和使用可能涉及更多的生物学背景知识，适合对神经科学和计算神经网络感兴趣的研究者和开发者。：一个基于PyTorch的库，允许在深度学习框架中实现脉冲神经网络，非常适合将脉冲神经网络与其他深度学习模型结合。它提供了灵活的模型构建和高效的仿真能力。：一个用于构建和仿真脉冲神经网络的Python库，语法简洁易懂，适合快速原型开发。：一个灵活的神经工程工具，可以构建和仿真不同类型的神经网络，包括脉冲神经网络。：一种专为模拟大规模脉冲神经网络而设计的硬件平台，结合了硬件和软件的优势。
探秘BindsNET：一个深度学习神经网络框架
gitblog_00048的博客
03-26 381
探秘BindsNET：一个深度学习神经网络框架 bindsnetSimulation of spiking neural networks (SNNs) using PyTorch.项目地址:https://gitcode.com/gh_mirrors/bi/bindsnet 是一个开源的、基于Python的深度学习框架，专注于模拟生物神经系统的行为。它结合了神经科学和机器学习的理论，提供了一种...
BindsNET丨环境配置及安装
AXYZdong的博客
03-09 612
BindsNET环境配置及安装，官方安装流程和自己安装过程。
BindsNET 安装过程
Lily的博客
06-03 1651
最近在看《Unsupervised Learning of Digit Recognition Using Spike-Timing-Dependent Plasticity 》这篇论文，想自己跑一下，加深理解。看了作者GitHub上面的代码，基于Brian写的，没捋顺代码，然后发现有基于pytorch写的，emm,代码量少很多。先装个环境，然后在抢救一下代码。下面记录了一下BindsNET安装过程。 1. 使用conda，新建python3.6环境 # 新建环境 conda create -n BindN
CompSNN: A Lightweight Spiking Neural Network Based on Spatiotemporally Compressive Spike Features
huatianxue的博客
03-08 393
文献阅读 一种轻量级的时空脉冲神经网络，基于时空脉冲压缩特征 dio:https://doi.org/10.1016/j.neucom.2020.10.100 摘要： 降低计算复杂度，对于SNN分类问题，依然是一个挑战。这篇文章提出一种有效的时空压缩脉冲特征，提出了一种轻量级的SNN框架，包含特征提取，我们的实验基于主流的数据集MNIST，SNN有潜力成为应用低能耗，或者资源有限边界计算系统和。。。 关键词：神经态计算，尖峰网络，SNN， 正文： 介绍 因为脉冲刺激在时域中是稀疏的，在网络中的神经元总是并行
每日论文（一）：Neural Encoding and Spike Generation for Spiking Neural Networks implemented in FPGA
weixin_44085642的博客
01-18 1041
在FPGA实现SNN的神经编码和脉冲生成 Neto J R D O , Cajueiro J P C , Ranhel J . Neural encoding and spike generation for Spiking Neural Networks implemented in FPGA[C]// International Conference on Electronics. IEEE, 2015. 摘要：在这篇文章中提出了一个新的产生脉冲序列的数字系统。在实时下，该系统可针对于SNN，将数字
Neural Spike Train Analysis Toolbox for Matlab.zip
07-23
**神经元尖峰训练分析工具箱（Neural Spike Train Analysis Toolbox, 简称nSTAT）是专为Matlab设计的一个强大的数据处理和分析库，主要用于研究神经科学领域的尖峰数据。该工具箱包含了多种算法和函数，能够帮助科研...
matlab精度检验代码-DNN_NeuroSim_V2.1:用于深度神经网络的基于内存计算的加速器的基准框架（针对片上训练芯片）
05-22
matlab精度检验代码DNN +神经网络V2.1 DNN + NeuroSim框架由（乔治亚理工学院）开发。 该模型是在非商业基础上公开提供的。 该模型的版权由开发人员维护，并且该模型是根据该协议的条款进行分发的 这是该工具的发行版本2.1（2020年8月8日）。 :glowing_star: 此V2.1改进了以下估计： 1. Calibrate FinFET technology library: temperature-related features. 2. Calibrate FinFET technology layout features. 3. Include FeFET polarization during weight-update. :glowing_star: 此版本还为推理精度估计添加了新功能： 1. Introduce VSA-bsaed MLSA (in addition to the original CSA-based MLSA) 2. Introduce SAR ADC :backhand_index_pointing_right: :backhand_index_pointing_right: :backhand_index_pointing_right: 在“ Param.cpp”中，切换ADC模式： SARADC = false; // false: MLSA // t
snn:构建一个尖峰神经网络
05-18
nn 构建一个尖峰神经网络 功能 该项目用于构建加标神经网络，以完成MNIST数据集上的分类任务。
MLP_NeuroSim_V3.0:简单神经网络的突触设备技术基准框架
05-23
MLP模拟器（+ NeuroSim）V3.0 MLP + NeuroSim框架是由Shimeng （乔治亚理工学院）开发的。 该模型是在非商业基础上公开提供的。 该模型的版权由开发人员维护，并且该模型根据 这是该工具的发行版本3.0（2019年3月1日）。 此版本将算法权重从V2.0中的（0,1）扩展到V3.0中的（-1,1）。 此外，还添加了更多的训练算法，例如动量法，Adagrad，RMSprop，Adam。 基于数字eNVM（例如STT-MRAM）的突触阵列支持并行读取，以减少延迟。 开发人员：陈排宇，彭晓晨和罗延东。 如果您对模型有任何逻辑上的问题或意见，请联系于世教授（ ），如果您有技术上的问题或意见，请联系（ ）或（ ）。 这项研究得到了NSF CAREER奖，NSF / SRC E2CDA计划和SRC / DARPA JUMP中心之一ASCENT的支持。 如果
Neurosim的manual细读（一）
qq_41382643的博客
09-28 4441
最近收到这样一个课题，要做一个机器学习的这么一个东西。机器学习我也不太懂，电路仿真我也不太懂，处理器架构我也不太懂，总之就是要从头学起了。自带的manual都二十多页，好多英文，很多术语，真实的看不懂，一点一点来吧，争取看完能跑一跑基本的代码。。。 这个东西也是乔治亚大学的于施蒙教授搞得，RRAM做的很厉害的那个。 整个手册分为几个部分：1、介绍 2、新特性 3、使用方法 4、片级架构 5、电路级架构 6、算法级架构 1、介绍 DNN+neurosim是一种集成框架，自C++产生，pytorch封
BindsNET丨Part I. 创建网络和添加网络组件（Creating and Adding Network Components）
AXYZdong的博客
03-10 357
BindsNET中文翻译学习笔记，创建网络和添加网络组件。
如何利用Bindsnet-Python模拟脉冲神经网络（SNN）？Part I. 建立一个网络
周毅航的博客
03-20 2150
微信公众号：脑机接口研习社 关注脑机接口最新进展 脑机接口研习社公众号即将开通机器学习专栏，从本篇文章开始，将介绍如何利用Bindsnet-Python包模拟脉冲神经网络（SNN）。 一、脉冲神经网络（SNN）简介 首先，我们来看什么是人工神经网络。 人工神经网络（Artificial Neural Network，即ANN ），是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神..
Neurosim的manual细读（三）
qq_41382643的博客
09-29 1870
With various device technologies, the chip could operate in different modes, such as digital sequential (rowby-row) read-out for near-memory computing, or analog parallel read-out for in-memory computing. In the simulator, the parameters of synaptic devic
Chronux工具包：LFP与spike信号分析教程
Chronux是一款专业的神经电生理信号分析工具包，其主要用途在于分析与处理神经电生理信号，特别是局部场电位（LFP）和尖峰电位（Spike）。LFP是神经元群活动中产生的电压波动，反映了一定时间和空间范围内神经网络的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值