Going Deeper in Spiking Neural Networks：VGG and Residual Architectures笔记

最新推荐文章于 2024-08-19 19:17:30 发布
最新推荐文章于 2024-08-19 19:17:30 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： 脉冲神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34886403/article/details/82534514
版权
论文提出了一种从ANN到SNN的转换算法，应用于复杂视觉识别任务，如cifar-10和ImageNet，强调SNN处理时序信息的优势。主要贡献包括ANN结构约束、SNN的normalization方法（SPIKE-NORM）以及SNN残差结构。实验显示在适当的时间步长下，SNN性能稳定，且在无BN情况下仍能有效运行。
摘要由CSDN通过智能技术生成

摘要

论文提出了一种将ANN网络转换成SNN的算法，并证明了该算法在复杂视觉识别问题(如cifar-10和ImageNet)中的有效性。

介绍

将ANN直接转换成SNN时，在SNN上的性能远低于ANN，这是因为应为SNN中拥有处理时序信息的能力，这点与ANN有很大的区别

相关工作

略

主要贡献

1、针对ANN转SNN，提出几个ANN结构的约束。
2、提出ANN转SNN的normalization方法
3、提出一种可以用在SNN的残差结构块

准备工作

1、用频率编码的方式产生脉冲（泊松脉冲），论文中time-step为2500。
2、在ANN采用ReLU函数，在SNN使用IF模型
3、明确在ANN转SNN的关键在于调整SNN的阈值与突触权重。太高的阈值需要更长的时间才能产生一个脉冲，阈值太小就难以区分输入的差距。

ANN结构约束
1、不设置bias，因为bias在SNN中会增大阈值参数调整的难度，由于没有bias，所以BN也用不了，所以在ANN用drop out来替代BN。
2、使用average pool

深度卷积SNN体系结构：VGG

之前就有人提出“Data-Based Normalization”，具有实现方式有两种：“weight-normalization”和“threshold-normalization”，他们最终的目的是一致的，只是实现过程不同。<

最低0.47元/天 解锁文章
Star_ACE
关注
专栏目录
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5375
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
[深度学习论文笔记][Neural Arts] Inceptionism: Going Deeper into Neural Networks
Hao_Zhang_Vision的博客
10-31 1186
Mordvintsev, Alexander, Christopher Olah, and Mike Tyka. “Inceptionism: Going deeper into neural networks.” Google Research Blog. Retrieved June 20 (2015). (Citations: 36). 1 Motivation Each lay
Going Deeper in Spiking Neural Networks: VGG and Residual Architectures
huatianxue的博客
03-09 644
摘要 在过去几年中,SNN已经成为最受欢迎的低能耗方式。我们提出了分析稀疏事件驱动计算去展现硬件的冗余，当在脉冲领域。 关键词： 脉冲神经网络，事件驱动，稀疏性，神经元计算，视觉辨认。 主要贡献 1.有不同的结构可以从ANN转换到SNN，通过一种几乎没有损失的方式。因此，我们提出了一个证明关于深度SNN可以提供有竞争性的准确率，就像CIFAR-10或者ImageNet 2.我们提出了一种新的ANN转换为SNN的方式性能超过了目前的最好水平。 3.我们探索了残差网络结构作为潜在的通路到SNN。 4.我们证明了
Deep Learning in Spiking Neural Networks
最新发布
weixin_53352750的博客
08-19 955
《Deep Learning in Spiking Neural Networks》文章，超详细翻译。
脉冲神经网络Spiking neural network
weixin_34138377的博客
02-13 301
（原文地址：维基百科） 简单介绍： 脉冲神经网络Spiking neuralnetworks (SNNs)是第三代神经网络模型，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑当中。思路是这种，动态神经网络中的神经元不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的膜电位达到某一个特定值才被激活。当一个神经元被激活，它会产生一个信号传递给其它...
Spiking neural networks
06-12
文件包里包含关于SNN最新技术的相关文档
【论文】Graph Neural Networks: A Review of Methods and Applications
安静
02-25 897
Graph Neural Networks: A Review of Methods and Applications1 Introduction2 Models2.1 Graph Neural Networks2.2 Variants of Graph Neural Networks2.3 General Frameworks3 Applications3.1 Structural Scenar...
NeMo_脉冲神经网络工具_spiking neural network
03-15
国外开发的一个脉冲神经网络工具包，matlab和python均可使用，适合类脑和spiking神经网络研究使用
spikingjelly:SpikingJelly是基于PyTorch的Spiking Neural Network（SNN）的开源深度学习框架
03-30
尖刺果冻 English | SpikingJelly是基于用于Spiking神经网络（SNN）的开源深度学习框架。 SpikingJelly的文档以英文和中文编写： ://spikingjelly.readthedocs.io 安装 请注意，SpikingJelly是基于PyTorch的。 在安装SpikingJelly之前，请确保已安装PyTorch。 从安装最后一个稳定版本（0.0.0.0.4） ： pip install spikingjelly 请注意，CUDA扩展未包含在PyPI软件包中。 如果要使用CUDA扩展，请从源代码安装： 从 ： git clone https://github.com/fangwei123456/spikingjelly.git cd spikingjelly git checkout 0.0.0.0.4 # switch to
Deep Spiking Neural Network for Video-Based Disguise Face Recognitiony阅读笔记
qq_44465615的博客
02-23 356
《Deep Spiking Neural Network for Video-Based Disguise Face Recognition Based on Dynamic Facial Movements》阅读笔记 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, VOL. 31,NO. 6, JUNE 2020 该论文将深度学习模型与全局动态面部运动相结合，提出了一种新的识别范式，而不是依赖于局部面部上下文信息。在这里，全局动态面
脉冲神经网络（Spiking Neural Networks，SNNs）介绍
qq_17743307的博客
05-15 989
脉冲神经网络（Spiking Neural Networks，SNNs）是仿生神经网络的一种类型，它们模仿了生物神经元在大脑中传递信息的方式。与传统的人工神经网络（Artificial Neural Networks，ANNs）不同，脉冲神经网络使用离散的脉冲（即“尖峰”或“冲动”）来传递信息，而不是连续的激活值。
类脑运算--脉冲神经网络（Spiking Neural Network）叙述
Yannan_Strath的博客
04-28 1万+
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
脉冲神经网络（Spiking Neural Network，SNN）概述
热门推荐
h__ang的博客
05-24 3万+
主要讨论脉冲神经网络的拓扑结构、信息的脉冲序列编码方法、脉冲神经网络的学习算法和进化方法等。 一. 脉冲神经网络的拓扑结构 同传统的人工神经网络一样，脉冲神经网络同样分为三种拓扑结构。它们分别是前馈型脉冲神经网络（feed-forward spiking neural network）、递归型脉冲神经网络（recurrent spiking neural network）和混合型脉冲神经网络（hy...
机器学习 | 脉冲神经网络（Spiking Neural Network）基础知识扫盲
MissMango0820的博客
12-28 1473
机器学习 机器学习 | 脉冲神经网络（Spiking Neural Network）基础知识扫盲机器学习TerminologySparsityIF (Integrated-and-Fire Neuron Model)SNN (Spiking Neural Network)概念参考链接TerminologySNN (Spiking Neural Network) To be Continued … Last Modified Date: 2021/12/28 Terminology 此处扫盲各种术语
towards deeper graph neural networks
08-12
最近，对于图神经网络的研究日益深入，引起了广泛关注。图神经网络是一种能够对图数据进行建模和分析的神经网络模型。它可以处理任意结构的图形数据，如社交网络、蛋白质互作网络等。 在过去的几年中，研究者们提出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值