Direct Training for Spiking Neural Networks: Faster, Larger, Better

最新推荐文章于 2024-05-20 16:35:09 发布
最新推荐文章于 2024-05-20 16:35:09 发布
阅读量922 收藏 6
点赞数
分类专栏： 文献阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huatianxue/article/details/114801308
版权
本文提出了一种直接训练深层脉冲神经网络（SNN）的算法，通过神经元正则化和精确的LIF迭代模型，实现了训练速度的显著提升和网络规模的扩大。实验表明，这种方法在保持高准确率的同时，显著减少了模拟步数，降低了功耗，适用于资源受限的场景。
摘要由CSDN通过智能技术生成

摘要

我们提出一种神经元正则化技术去调整神经元分立，而且发展了一种直接的训练算法对于深层SNN.
通过缩小速率编码窗口和转换LIF模型到精确的迭代版本，我们提出了基于pytorch版本的手段去训练深度SNN，提高了数十倍的速度。

准确的LIF迭代模型

原来的LIF模型是这样的变化模式
在这里插入图片描述
其中 u u u是膜电压， t t t代表时间， I I I代表外部输入， u r e s e t u_{reset} ureset

最低0.47元/天 解锁文章
华天雪 L.W
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spiking Neural Networks: The Machine Learning Approach
11-20
这是一份简单的关于神经脉冲网络的介绍，里面介绍了一些简单的snn模型
Patio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks.pdf
03-02
在神经网络领域，传统的Artificial Neural Networks (ANNs)已经取得了显著的成绩，但Spiking Neural Networks (SNNs)作为一种更接近生物大脑运作机制的模型，因其能够编码时空信息而备受关注。SNNs通过脉冲（或称...
论文略读1《Direct training for spiking neural networks:faster,larger,better》
weixin_45524672的博客
11-11 298
脉冲神经网络顶刊阅读第一篇，论文略读1《Direct training for spiking neural networks:faster,larger,better》，该会议内容发布时间2019-07-17，AAAI
直接训练的脉冲神经网络STBP改编
weixin_38132729的博客
10-08 1124
Direct Training for Spiking Neural Networks:Faster, Larger, Better 摘要   在新兴的神经形态硬件上实现节能的脉冲神经网络（SNN）正受到越来越多的关注。然而，由于缺乏有效的学习算法和有效的编程框架，SNN与人工神经网络（ANN）相比，还没有表现出具有竞争力的性能。我们从两个方面来解决这个问题：（1）提出了一种神经元归一化技术来调整神经选择性，并开发了一种用于深层SNN的直接学习算法。（2） 通过缩小速率编码窗口，并将（LIF）模型转换为显
脉冲神经网络入门指南（四）Training Spiking Neural Networks-反向传播方式【文献精读】
最新发布
qq_22841387的博客
05-20 1093
Heaviside 算子Hx0ifx01ifx≥0Hx01​ifx0ifx≥0​它的作用是将输入信号根据某个阈值进行二值化处理。可以理解为一个开关，当输入信号达到或超过某个阈值时，开关“打开”，输出1；否则开关“关闭”，输出0。在脉冲神经网络中，Heaviside 算子用于模拟神经元的发放行为。StHUt−θStHUt−θ其中UtU(t)Ut是膜电位，θ\thetaθ是发放阈值，StS(t)St是脉冲信号。
spiking neural network概念学习
Stephanie的博客
12-06 1353
我们认为，SNNs 最大的优势在于其能够充分利用基于时空事件的信息。今天，我们有相当成熟的神经形态传感器，来记录环境实时的动态改变。这些动态感官数据可以与 SNNs 的时间处理能力相结合，以实现超低能耗的计算。 在此类传感器中使用 SNNs 主要受限于缺乏适当的训练算法，从而可以有效地利用尖峰神经元的时间信息。实际上就精度而言，在大多数学习任务中 SNNs的效果仍落后于第二代的深度学习。很明显，尖峰神经元可以实现非连续的信息传递，并发出不可微分的离散脉冲，因此它们不能使用基于梯度下降型的反向传播技术...
TSSL-BP脉冲神经网络反向传播方法
weixin_38132729的博客
09-25 1283
通过反向传播的深层脉冲神经网络的时间性脉冲序列学习 摘要   脉冲神经网络（SNNs）非常适用于时空学习和在高能效事件驱动的神经形态处理器上的实现。在高能效事件驱动的神经形态处理器上的实现。然而，现有的SNN错误反向传播(BP)方法缺乏正确处理 与传统人工神经网络的BP方法相比，现有的SNN误差反向传播（BP）方法缺乏对脉冲不连续的适当处理，并且性能低下。方法相比，性能较低。此外，通常需要大量的时间步长来实现体面的性能，导致高延迟并使基于脉冲的计算无法扩展到深度架构。 提出了一种新的时态脉冲序列学习反向传.
SNN论文系列-Spatio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks
qq_34970603的博客
06-09 3153
Spatio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks 下面文章将从神经元模型、STBP算法、近似倒数三方面进行描述 神经元模型 因为训练方法为BP,需要进行反向传播，故采用LIF神经元模型进行训练。 u(t)是在t时刻的膜电压，τ是时间常数、I（t）表示突触前输入，由神经元前活动或外部注射和突触权重决定。 当膜电压达到阈值，则释放一个脉冲，并将其电位置为Urest。 如图所示，在空间维度，
【译】Enabling deep spiking neural networks with hybrid conversion and spike timing dependent backpropa
a_piece_of_ppx的博客
06-03 1088
外文文献译
Spiking neural networks.rar_Neural networks_SNN_Spiking-Neural_s
07-14
**Spiking Neural Networks (SNN) 深度解析** **一、简介** Spiking Neural Networks（SNN），又称脉冲神经网络，是生物神经网络的一种模拟，它以大脑神经元活动的方式工作，即通过脉冲（或称尖峰）进行信息传输。...
Training-spiking-neural-networks-for-reinforcement-learning:源代码：https
03-23
突刺补强的强化学习论文：训练强化神经网络以进行强化学习作者：Sneha Aenugu发布时间：2020年5月13日本文代码实现源代码： :
Spiking Neural Networks for Cortical Neuronal Spike Train Decoding
02-06
Spiking Neural Networks for Cortical Neuronal Spike Train Decoding
2022年顶会、顶刊SNN相关论文
热门推荐
lanpeople的博客
04-15 1万+
2022年顶会、顶刊脉冲神经网络相关优秀论文收集
[CVPR‘23] Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion
qq_40731332的博客
02-15 1443
提出一种3D生成模型：用扩散模型自动生成3D数字虚拟人，并将其表征为neural radiance fields。该任务的主要问题在：生成高质量虚拟人，需要耗费大量时间和内存；本文提出roll-out diffusion network (Rodin)，该方法将neural radiance field表征为多个2D feature maps，并将这些特征层展开为一个2D特征平面，进一步在该特征平面中执行3D-aware diffusion。
CVPR 2023 | 微软提出RODIN：首个3D扩散模型高质量生成效果，换装改形象一句话搞定！...
阿木寺的博客
03-18 2954
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【扩散模型】微信技术交流群转载自：微软亚洲研究院编者按：近日，由微软亚洲研究院提出的 Roll-out Diffusion Network (RODIN) 模型，首次实现了利用生成扩散模型在 3D 训练数据上自动生成 3D 数字化身（Avatar）的功能。仅需一张图片甚至一句文字描述，RODIN 扩散模型就能秒级...
【Rodin学习笔记】A Generative Model for Sculpting 3D Digital Avatars Using Diffusion
hol12138的博客
06-08 560
提出一种3D生成模型：用diffusion自动生成3D数字虚拟人，并将其表征为神经辐射场。生成高精度的数字人像对内存和成本要求很高，因此论文提出了模型，把神经辐射场表达成2D特征图，并且将他们展开到二维平面再进行3D感知diffusion。通过映射关系，在2D特征上执行了3D卷积，提高效率；组织特征生成，使得全局连贯，可生成高保真虚拟人像，并可通过文本控制语义修改；进一步增强细节；
RODIN
whaosoft143ai的博客
04-12 103
微软亚洲研究院提出的RODIN模型，首次实现了利用生成扩散模型在 3D 训练数据上自动生成 3D 数字化身（Avatar）的功能。仅需一张图片甚至一句文字描述，RODIN 扩散模型就能秒级生成 3D 化身。创建个性化的用户形象在如今的数字世界中非常普遍，很多 3D 游戏都设有这一功能。然而在创建个人形象的过程中，繁琐的细节调整常常让人又爱又恨，有时候大费周章地选了与自己相似的眼睛、鼻子、发型、眼镜等细节之后，却发现拼接起来与自己仍大相径庭。whaosoft aiot http://143ai.com
窥探当今AI芯片中的类脑模型
人工智能学家
08-27 1893
来源：脑人言撰文丨邓 磊（加州大学-圣塔芭芭拉分校UCSB 博士后）责编丨高茂森 Soma排版丨夏獭科学研究的动机，并非仅仅是出于能看到多酷炫的应用，而是因为我们尚有诸多...
NAACL2019论文
choose_c的博客
03-18 1568
最近关注了一下NAACL2019，看了accepted papers，选了一些感兴趣的论文，有事没事看看，记录一下。 A Variational Approach to Weakly Supervised Document-Level Multi-Aspect Sentiment Classification Abusive Language Detection with Graph...
Learning Spatiotemporally Encoded Pattern Transformations in Structured Spiking Neural Networks文献中关于兴奋抑制的部分
07-17
在《Learning Spatiotemporally Encoded Pattern Transformations in Structured Spiking Neural Networks》这篇论文中，关于兴奋抑制的部分主要是针对结构化脉冲神经网络（structured spiking neural networks）中的兴奋和抑制机制进行研究和探讨。 在神经网络中，兴奋抑制机制是一种常见的神经元间相互作用方式。兴奋（excitation）表示一个神经元的活动会激发或增强其他神经元的活动，而抑制（inhibition）则表示一个神经元的活动会抑制或减弱其他神经元的活动。 在这篇论文中，作者提出了一种基于结构化脉冲神经网络的模型，该模型通过学习时空编码模式转换，实现了对输入模式的编码和转换。在这个模型中，兴奋抑制机制被用来调节神经元之间的相互作用，以实现输入模式的动态转换和编码。 具体来说，兴奋抑制机制在这个模型中起到了以下几个作用： 1. 提供了一种动态调节神经元活动的方式，通过增强或减弱神经元之间的相互作用，来实现输入模式的转换和编码。 2. 控制神经元的激活水平，使得模型能够对输入模式进行适当的响应和处理。 3. 平衡神经元之间的竞争关系，以确保神经网络能够同时处理多个输入模式。 总之，兴奋抑制机制在这篇论文中被用来实现结构化脉冲神经网络对输入模式的编码和转换，并且通过动态调节神经元之间的相互作用，实现了模型对输入模式的动态处理和响应能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值