文献阅读
文章平均质量分 56
华天雪 L.W
这个作者很懒,什么都没留下…
展开
-
Convolutional networks for fast, energy-efficient neuromorphic computing
方法在这里,我们对深度卷积网络和TrueNorth神经形态芯片的相关元素进行了描述,并描述了如何在TrueNorth神经形态芯片上实现前者的本质。深度卷积网络原创 2021-03-15 19:48:58 · 199 阅读 · 0 评论 -
Direct Training for Spiking Neural Networks: Faster, Larger, Better
摘要我们提出一种神经元正则化技术去调整神经元分立,而且发展了一种直接的训练算法对于深层SNN.通过缩小速率编码窗口和转换LIF模型到精确的迭代版本,我们提出了基于pytorch版本的手段去训练深度SNN,提高了数十倍的速度。准确的LIF迭代模型原来的LIF模型是这样的变化模式其中uuu是膜电压,ttt代表时间,III代表外部输入,uresetu_{reset}ureset代表重置电压。更换成迭代模式变成如下图其中,ot,n+1o^{t,n+1}ot,n+1是t+1t+1t+1步的输入,o原创 2021-03-14 21:23:37 · 948 阅读 · 0 评论 -
Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image Classific
从深层网络到有效的事件驱动网络,对于图片分类这篇文章展现出脉冲等价于这些操作,因此循序任何CNN结构的转化为SNN.snn可以在分类错误率和可用操作数量之间进行权衡,而深度连续值神经网络则需要固定数量的操作才能实现分类错误率.snn可以在2倍的减少操作行为,相对于原始的CNN.这里面也提到了,置零和减去固定阈值的两种重置模式2.1因此一个神经元i在第l层,将会接受到一个脉冲序列,以更低的脉冲速率,降低的幅度是根据前期层神经元的误差ΔV\Delta VΔV决定的。这个误差累积起来,在高层,这也解释了原创 2021-03-10 15:15:01 · 912 阅读 · 1 评论 -
IF神经元复位
分为两种复位方式:1.置零复位2.减去阈值复位通常使用第二种,因为第二种可以保留之前脉冲强度的信息。归一化方法Fast-Classifying, High-Accuracy Spiking Deep Networks Through Weight and Threshold Balancing阈值不变的情况下,对网络权重进行缩放。Conversion of continuous-valued deep networks to efficient event-driven networks fo原创 2021-03-09 11:02:24 · 406 阅读 · 0 评论 -
Going Deeper in Spiking Neural Networks: VGG and Residual Architectures
摘要在过去几年中,SNN已经成为最受欢迎的低能耗方式。我们提出了分析稀疏事件驱动计算去展现硬件的冗余,当在脉冲领域。关键词:脉冲神经网络,事件驱动,稀疏性,神经元计算,视觉辨认。主要贡献1.有不同的结构可以从ANN转换到SNN,通过一种几乎没有损失的方式。因此,我们提出了一个证明关于深度SNN可以提供有竞争性的准确率,就像CIFAR-10或者ImageNet2.我们提出了一种新的ANN转换为SNN的方式性能超过了目前的最好水平。3.我们探索了残差网络结构作为潜在的通路到SNN。4.我们证明了原创 2021-03-09 08:10:42 · 644 阅读 · 0 评论 -
CNN转换为SNN的算法
主要是使用两种方法:一个是直接转换法,另外一个是归一化算法。直接转换法通过对CNN进行约束,使得模型可转换。归一化算法则解决了转换后过激活和欠激活的问题。直接转换法不是所有的卷积神经网络都可以进行转换,在转换前需要进行如下三个操作:1.去掉偏置项2.使用relu激活函数,输出要么是0,要么是正数。3.使用平均池化归一化算法2.1 对训练好的网络模型进行归一化2.2 对网络处理数据时进行归一化...原创 2021-03-08 14:31:43 · 1830 阅读 · 0 评论 -
CSNN: An Augmented Spiking based Framework with Perceptron-Inception
CSNN:基于Perceptron的增强型Spiking框架受生物大脑中视觉形成机制的启发,我们提出了一种基于大脑的基于感知器-感知的神经网络,名为CSNN,它由部分CNN和SNN组成。我们分别将它们命名为Perceptron和inception。感知器由CNN中的卷积层和池化层组成,而Inception是完全连接层的SNN。...原创 2021-03-08 08:45:35 · 1293 阅读 · 0 评论 -
CompSNN: A Lightweight Spiking Neural Network Based on Spatiotemporally Compressive Spike Features
文献阅读一种轻量级的时空脉冲神经网络,基于时空脉冲压缩特征dio:https://doi.org/10.1016/j.neucom.2020.10.100摘要:降低计算复杂度,对于SNN分类问题,依然是一个挑战。这篇文章提出一种有效的时空压缩脉冲特征,提出了一种轻量级的SNN框架,包含特征提取,我们的实验基于主流的数据集MNIST,SNN有潜力成为应用低能耗,或者资源有限边界计算系统和。。。关键词:神经态计算,尖峰网络,SNN,正文:介绍因为脉冲刺激在时域中是稀疏的,在网络中的神经元总是并行原创 2021-03-08 08:17:48 · 366 阅读 · 1 评论 -
STDP时间窗口
在大脑皮层神经网络模型中对Hebbian、anti-Hebbian,Symmertric这3种不同学习窗口的抑制性脉冲时间依赖可塑性anti-Hebbian类型学习窗口能根据网络中神经元放电率的变化,自适应调节突触权值以维持神经元放电;Hebbian和Symmertric类型学习窗口对神经元放电的抑制作用较强,不利于皮层神经元的放电。...原创 2021-01-18 10:23:39 · 495 阅读 · 0 评论 -
忆阻尖峰神经网络中基于STDP的模式识别学习的必要条件
Necessary conditions for STDP-based pattern recognition learning in amemristive spiking neural network忆阻器:忆阻器,全称记忆电阻器(Memristor)。它是表示磁通与电荷关系的电路器件。忆阻具有电阻的量纲,但和电阻不同的是,忆阻的阻值是由流经它的电荷确定。因此,通过测定忆阻的阻值,便可知道流经它的电荷量,从而有记忆电荷的作用。与DNN相比,SNN以峰值的速率和时间对信息进行编码,从而可以提供更细原创 2021-01-18 08:10:47 · 1040 阅读 · 0 评论 -
A remark on the error-backpropagation learning algorithm for spiking neural networks
关于尖峰神经网络的误差反向传播学习算法的一点评论✩摘要在用于脉冲神经网络的误差反向传播学习算法中,必须将触发时间tαt^\alphatα区分为状态函数x(t)x(t)x(t)的函数。但是这种区分是不可能直接进行的,因为不能以标准形式将其表达为x(t)x(t)x(t)的函数。为了克服这个困难,Bohte等假设脉冲发时间tαt^\alphatα和状态x(t)x(t)x(t)在t=tαt=t^αt=tα附近存在线性关系。根据此假设,泛函的Frechet导数等于可以直接轻松计算的普通函数的导数。我们在此简短说明原创 2021-01-17 21:14:21 · 128 阅读 · 0 评论 -
Spike Timing–Dependent Plasticity: A Hebbian Learning Rule ///STDP时空依赖可塑性
关键词长期增强,长期抑郁,突触,记忆,反向传播动作电位摘要时空依赖可塑性(STDP)作为一种Hebbian突触学习规则,在从昆虫到人类的广泛物种的各种神经回路中得到了证明。 突触修饰依赖于突触前和突触后尖峰在几十毫秒的临界窗口内的顺序,具有深远的功能意义。 在过去的十年中,在理解STDP在兴奋性和抑制性突触的细胞机制以及神经元兴奋性和突触整合的相关变化方面取得了重大进展。 除了基本的不对称窗口外,最近的研究还揭示了STDP的几层复杂性,包括它对树突位置的依赖,复杂尖峰列诱导的突触修饰的非线性集成,以及原创 2021-01-17 21:04:18 · 1736 阅读 · 4 评论 -
Error-backpropagation in temporally encoded networks of spiking neurons 误差传播在时间编码的脉冲神经网络
摘要监督学习的规则:spikeprop,类似于传统的误差反向传播。根据这个理论,我们论证了脉冲神经元可生物可解释性,能够表现复杂的非线性分类能力,通过时间编码的方式,和速率编码的方式一样好。解决了经典的“异或”问题。所需要的神经元数量更少。此外,我们还发现,在脉冲网络中,只有当使用时间常数大于编码间隔的脉冲响应函数时,才能完成可靠的时间计算,正如理论考虑所预测的那样。介绍对于在短时间内的速率代码计算,它通常被相信:在生物神经系统中,大量脉冲神经元的反应被集合起来,来获取一个瞬间的平均放电率。误差反向原创 2021-01-17 09:48:27 · 372 阅读 · 0 评论 -
The tempotron: a neuron that learns spike timing–based decisions 事件驱动
摘要我们提出了一种新的,生物学上可行的监督突触学习规则,使神经元能够有效地学习广泛的决策规则,就是把信息嵌入在脉冲的时空结构中,而不是简单的平均脉冲发射频率。神经元可以实现的随机时空模式的分类数量是其突触数量的几倍。我们不再使用单神经元,而是使用多神经元。我们的工作证明了神经系统学习解码嵌入在脉冲同步分布模式中的信息的高能力。介绍解密编码原则,神经元所代表的和过程信息已经困扰了大脑科学研究者半个世纪。通常情况下,神经元表示信息通过特闷的平均脉冲发放率。然而,实际上,听觉、嗅觉、触觉,脉冲发生对原创 2021-01-15 21:20:44 · 470 阅读 · 1 评论 -
conversion of continuous-Valued Deep Networks to efficient Event-driven Networks for image classific
连续值深度网络到有效事件驱动网络的图像分类转换有直接训练的,也有ann转snn的,也有直接训练的Spiking deep convolutional neural networks for energy-efficient object recognitionCao, Y作者Yongqiang Cao原创 2020-12-30 09:40:50 · 310 阅读 · 0 评论 -
LIF模型及其变种 Training Spiking Deep Networks for Neuromorphic Hardware
标准LIF和软化LIF我们要计算原始网络的计算效率图像中有两个主要的计算来源:计算神经元和计算连接。每秒浮点计算(floating-point operations per second)突触的计算需要消耗大部分的能量这些方法为将传统的人工神经网络翻译为基于尖峰的神经形态硬件提供了新途径。我们提供了一些证据,表明这种实现比ANN的实现更节能。虽然我们的分析只考虑了静态图像分类,但我们期望在处理动态输入(例如视频)时,SNN的实际效率将变得明显。这是因为SNN本质上是动态的,并且需要采取许多模拟步骤原创 2020-12-30 09:05:37 · 778 阅读 · 0 评论 -
关于Training deep neural networks for binary communication with the Whetstone method的代码实现
GitHub网址如下:https://github.com/SNL-NERL/Whetstone/blob/master/examples/adaptive_mnist.py实现过程中解决的问题:1.Ubuntu下,python+TensorFlow+Keras版本问题经检验,配置版本为python3.8.5+TensorFlow2.2.0+Keras2.3.1可行2.关于磨刀石算法包的加载直接pip install whetstone 即可3.运行程序时,会报错显示“模块whetstone不原创 2020-12-30 07:50:44 · 233 阅读 · 2 评论 -
Understanding LSTM Networks
理解LSTM网络If we are trying to predict the last word in “the clouds are in the sky,” we don’t need any further context – it’s pretty obvious the next word is going to be sky字符的预测RNN无法将很久之前的信息给联系起来。...原创 2020-12-21 20:41:40 · 75 阅读 · 0 评论 -
迈向人工通用智能与混合天玑芯片架构
介绍芯片包含156个Fcores,包含大约40000个神经元和一千万个突触,采用28nm的加工技术制作天玑占用面积是3.8∗3.8mm23.8*3.8mm^23.8∗3.8mm2Dendrite 到底代表个啥呀。。。突触消耗了绝大多数的能量。天玑提供的内部贷款大约每秒610GB1280GB的峰值运算性能...原创 2020-12-21 11:14:32 · 204 阅读 · 0 评论