Spiking Deep Residual Network阅读笔记

最新推荐文章于 2023-06-02 18:00:00 发布
最新推荐文章于 2023-06-02 18:00:00 发布
阅读量1.2k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kerrwy/article/details/80330802
版权
本文探讨了将ResNet转化为Spiking Residual Network的方法，通过shotcut标准化和采样误差惩罚机制，解决了SNN深度训练的难题。实验表明，这种方法在MNIST、CIFAR-10和CIFAR-100数据集上取得了SNN的最佳性能。
摘要由CSDN通过智能技术生成

Spiking Deep Residual Network

1. 摘要

近些年，SNN由于它的生物可塑性吸引了大众注意力。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。本篇文章，提出了一个方法来构造ResNet的脉冲版本。我们把训练好的ResNet网络转化为脉冲神经元组成的SpikingResNet。为了解决转化过程中的问题，文章提出了shotcut归一化机制来缩减连续的激活值，使之近似匹配SNN中的脉冲发放率；还提出一种逐层误差补偿方法来减少由离散导致的误差。在MNIST, CIFAR-10, 和CIFAR-100上做了实验，是目前SNN中性能最好的。

3.1 转换概述

这里写图片描述
如图，展示了转换ResNet到SpikingResNet的机制。通过假定Relu单元可以近似脉冲神经元的发放率，文章用IF神经元代替Relu。输入方式是图片输入，第一层卷积之后根据是否大于阈值判断输出脉冲。训好的权重先进行归一化，再根据BN缩减（论文中的2式）使用。

3.2 shotcut标准化

我们先考虑一个基本的残差单元，

最低0.47元/天 解锁文章
Kerrwy
关注
（笔记）脉冲深度残差网络Spiking Deep Residual Network
yingpeng_zhong的博客
05-13 1769
原文链接 摘要 方法一 方法二 实验 原文链接 https://arxiv.org/abs/1805.01352 摘要 本文提供一种有效的把ResNet转成脉冲神经网络(SNN)的方法。主要提出两个方法。 一，针对残差结构的归一化，把连续激活函数值转成发射频率（firerate）。 二，分层的误差补偿。 方法一 针对残差结构的归一化，把连续激活函数值转成发射频率（f...
Spiking Deep Residual Network神经网络实现
weixin_43872912的博客
09-08 536
可以确定这是个ANN-to-SNN的算法。 深度残差网络的残差网络块： CNN版本： 做法：用原数据进行3次卷积操作先生成一个结果F(x)，然后进行一次卷积生成一个结果identity。最后残差单元的结果就是identity+F（x）。 为什么这么做：因为多次卷积会导致一些细节消失，而且深层网络到最后也存在着梯度消失或者爆炸的问题。这个时候identity的引入，会加强特征效果，减缓训练速度，但在一定程度上也强化了训练速度。 每一次卷积完以后都要进行一次批归一化处理，这个函数使结果x=wx+b各个维度均值
最新论文阅读（14）--Spiking Deep Residual Network
wydbyxr的博客
06-07 901
Spiking Deep Residual Network - - Spiking Neural Network - 浙江大学和四川大学 　　脉冲神经网络（SNN）在生物理论中备受关注。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。 　　本文提出了一种脉冲版本的 ResNet。我们把训练好的ResNet...
Fast-classifying, high-accuracy spiking deep networks through weight and threshold balancing
小刘鸭的私房菜
11-30 435
Title：Fast-classifying, high-accuracy spiking deep networks through weight and threshold balancing Author: Peter U. Diehl, Daniel Neil, Jonathan Binas, Matthew Cook, Shih-Chii Liu, and Michael Pfeiffer Institution: Institute of Neuroinformatics, University
Fast-Classifying, High-Accuracy Spiking Deep Networks Through Weight and Threshold Balancing
h__ang的博客
06-08 3131
论文名：Fast-Classifying, High-Accuracy Spiking Deep Networks Through Weight and Threshold Balancing 中文名：权重、阈值权衡实现快速分类且高精度的脉冲神经网络 摘要 例如ConvNets（卷积神经网络）和 DBNs（深度信念网络）代表了最先进的机器学习和计算机视觉问题。为了克服深度网络的大计算量成本，...
Amygdala Spiking Neural Network-开源
04-28
Amygdala是一个C ++尖峰神经网络库。 它包括多个神经元模型，SMP支持以及使用遗传算法开发SNN的设施。 还正在支持在工作站集群和MPP上运行Amygdala神经网络
基于matlab的spiking neurons network模拟
11-22
在神经科学领域，尖峰神经网络（Spiking Neuron Networks，SNNs）是一种模拟生物神经元网络行为的计算模型。这种网络由能够产生尖峰信号（或称脉冲）的神经元组成，这些尖峰是信息传递的基本单元。在本项目中，我们...
Deep Spiking Neural Network for Video-Based Disguise Face Recognitiony阅读笔记
qq_44465615的博客
02-23 358
《Deep Spiking Neural Network for Video-Based Disguise Face Recognition Based on Dynamic Facial Movements》阅读笔记 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, VOL. 31,NO. 6, JUNE 2020 该论文将深度学习模型与全局动态面部运动相结合，提出了一种新的识别范式，而不是依赖于局部面部上下文信息。在这里，全局动态面
Learning Deep Models for Face Anti-Spoofing_Binary or Auxiliary Supervision.pdf
09-03
Learning Deep Models for Face Anti-Spoofing_Binary or Auxiliary Supervision
Spiking Deep Residual Network
wydbyxr的博客
11-29 469
Spiking Deep Residual Network   近些年，SNN由于它的生物可塑性吸引了大众注意力。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。   本篇文章，提出了一个方法来构造ResNet的脉冲版本。我们把训练好的ResNet网络转化为脉冲神经元组成的SpikingResNet。为了解决转化过...
论文阅读——Spiking Deep Residual Network
weixin_43872912的博客
07-07 456
**摘要：**对于SNN来说，训练深层SNN仍然是一个巨大的挑战，而ResNet是一个先进的卷积神经网络可以训练深层的神经网络。所以就产生了将卷积的深度残差网络转换到脉冲版本的念头。将一个被训练的ResNet变成一个脉冲神经元网络——S-ResNet。我们提出了一个捷径转换模型去大致的估量持续值的激活函数去匹配脉冲神经网络中的发放率，和一个补偿的机制去减少因为离散化造成的误差。 相关工作 因为SNN这样的系统随着事件到达异步更新，因此减少操作数被要求在每一个时间步骤。 现在如何去训练一个脉冲神经网络仍然是一
论文阅读：Deep Residual Learning in Spiking Neural Networks
qq_41550996的博客
10-17 1628
以前的Spking-ResNet模拟了ann中的标准残差块，只是简单地将ReLU激活层替换为spike神经元，存在退化问题，很难实现残差学习。这篇文章主要提出了spike-element-wise (SEW) ResNet来实现深度snn中的残差学习。 1. 引言 Spiking ResNet作为ResNet的spike版本，通过模拟ann中的残差块，用spike神经元替换ReLU激活层而提出。由ANN转换的spike ResNet在几乎所有的数据集上都达到了最高的精度，...
【脉冲版ResNet】浙大&川大提出：继承ResNet优势，实现当前最佳
u011511601的专栏
05-19 1212
今天看到一篇文章，晚点细看论文。转自知乎：选自arXiv，作者：Yangfan Hu等，机器之心编译。脉冲神经网络（SNN）具有生物学上的合理性，并且其计算潜能和传统神经网络相同，主要障碍在于训练难度。为解决这个问题，浙江大学和四川大学近日提出了脉冲版的深度残差网络 Spiking ResNet。为解决模型转换的问题，研究者提出了一种新机制，对连续值的激活函数进行标准化，以匹配脉冲神经网络中的脉冲...
脉冲神经网络深度残差学习（ResNet）
最新发布
学姐带你玩AI的博客
06-02 973
由于discrete binary activation 和complex spatial- temporal dynamics ，脉冲神经网络（SNN）在基于梯度的方法中存在优化困难。考虑到ResNet在深度学习方面的巨大成功，用残差学习训练深度SNN是很自然的。之前的Spiking ResNet模拟了ANN中的标准残差块，并简单地用脉冲神经元替换ReLU激活层，这会导致退化问题，并且很难实现残差学习。在本文中，我们提出了基于脉冲网络的ResNet来实现深度SNN中的残差学习。
Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image Classific
huatianxue的博客
03-10 925
从深层网络到有效的事件驱动网络，对于图片分类 这篇文章展现出脉冲等价于这些操作，因此循序任何CNN结构的转化为SNN. snn可以在分类错误率和可用操作数量之间进行权衡，而深度连续值神经网络则需要固定数量的操作才能实现分类错误率.snn可以在2倍的减少操作行为，相对于原始的CNN. 这里面也提到了，置零和减去固定阈值的两种重置模式 2.1 因此一个神经元i在第l层，将会接受到一个脉冲序列，以更低的脉冲速率，降低的幅度是根据前期层神经元的误差ΔV\Delta VΔV决定的。这个误差累积起来，在高层，这也解释了
spiking 的进展
lianbus的专栏
01-20 626
 The Brain as an Efficient and Robust Adaptive Learner Training Spiking Neural Networks for Cognitive Tasks: A Versatile Framework Compatible to Various Temporal Codes SNAVA-A real-time mult
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值