Tianlong Lee的博客

GRFpopulation编码，目前最常用的群编码方法，以脉冲的先后表示信息的重要程度。原文翻译（P29）当使用更大的数据集时，输入的编码成为一个重要的因素：因为编码的间隔ΔT\Delta TΔT被限制在一个固定的间隔，输入的整个范围可以要么通过使用越来越小的时间差或者通过将输入分布在多个神经元上。在我们的网络仿真中，网络状态按照固定的时间步长改变，因此对一些输入而言，时间分辨率的提高会带来计算上的损失。按照生物启发的方法，我们注意到皮层脉冲时间被认为是固有的噪声因为他们的峰值时间在1-2ms上表现出

Spike Timing Dependent Plasticity脉冲时序依赖可塑性是Hebb学习的时间不对称形式，由突触前后神经元脉冲紧密的时间相关性引导的。和其他形式的突触可塑性一样，人们普遍认为它是大脑中学习和信息存储的基础，以及在大脑发育期间神经元回路的发展与完善。使用STDP，在突触后动作电位之前几毫秒反复的突触前脉冲的到达导致了许多突触成为LTP突触类型，相反，在突触后脉冲之后的重复的脉冲的到达导致同样的突触变为LTD类型。以突触前后动作电位的的时间相关函数标定的突触的变化称为STDP函数或突

Tempotral Coding选择编码方法是要根据编码对象以及模型如何处理编码信息进行选择，如下是一种时序信息的编码对比：Threshold-based encoding又称为tempotral contrast，该方法可以用于编解码一段序列，当差值超过阈值时发放脉冲，阈值是根据编码的序列自适应变化的。使用该编码方法时，实值序列最好是沿时间变化的，因为在根据差分决定是否发放脉冲后，脉冲的顺序与差分顺序有关。Time-to-first spike coding该编码方法将信息用神经元首次

Hebb rule and its modificationHebb学习算法可以说是最古老的一个学习规则了，neurons fires together, wire together突触权重改变与神经元协同活动的关系Classific Hebb根据”一起放火一起死“的假设，突触权重的改变正比于突触前和突触神经元的活动Δωi=ηxiy\Delta \omega_i = \eta ...

SWATSWAT算法最重要的是隐层的滤波器设计，权重的学习在STDP的基础上加入了BCM规则，网络的输出层也比较有特色，就是所有的训练都是在一个训练神经元上，然后将其映射到分配好的输出神经元上。BCM RulesBCM起初是一种平衡Hebb学习的规则，根据神经元状态滑动阈值，进而决定突触更新是增强还是抑制，以此来平衡突触活动。在SWAT算法中，BCM规则用于更新STDP的高度。A+(θm)...

ReSuMe原文传送适用于单层网络或液体状态机，采用精确时间编码，结合了STDP与anti-STDP机制，对多种神经元模型和突触类型均适用，因为权重的调整仅取决于脉冲输出与目标输出序列有关。核心的更新公式如下：ddtωoi(t)=[Sd(t)−So(t)][ad+∫0∞adi(s)Si(t−s)ds]\frac{d}{d t} \omega_{o i}(t)=\left[S_{d}(t)-...

Frequency Coding生物系统中触觉、听觉系统等都有实验表明，神经元的脉冲发放频率与外界刺激成正比，但是有饱和值。生物神经元脉冲一般1～2ms，因此，在编码过程中一般不超过1KHz。生物能够做到快速识别信息，投射到视网膜接收器上的图像没几毫秒就发生一次变化，而这种编码方法必须要完全运行一整个时间窗才能读出编码信息，这显然是很不方便的。尽管该方法没有考虑时序信息，但因为其简单、易操作，...

SpikeProp论文传送门SpikeProp算法可以认为是SNN里BP的最早版本，它可以处理多层神经网络，但只能是单输入单输出，SpikeProp的特点是对脉冲发放的时间进行误差最小化，核心也就是下面的公式，其中tjat_j^atja​表示神经元第一次发放脉冲的时间。E=12∑j∈J(tja−tjd)2E=\frac{1}{2} \sum_{j \in J}\left(t_{j}^{\m...

Tempotron (论文传送门)Tempotron是一个二层网络学习算法，输入脉冲序列，输出脉冲响应。对于二分类，最重要的是保证以下关系的存在：即应该发放脉冲的神经元的最大膜电势应超过阈值，否则就增加突触传递效率；反之，不该发放脉冲的其最大膜电势就不该超过阈值，否则就减小突触传递效率。V(tmax⁡⊕)>Vthr>V(tmax⁡⊖)V\left(t_{\max } ^\oplu...

Leaky Intergrate and Fired Model参考：[1] Neuron Dynamics[2] 早期的公众号引言SNN与ANN最主要的不同就是使用离散的脉冲信号替代ANN网络中传播的连续的模拟信号。为了在这种网络结构上产生脉冲信号，SNN使用了更加复杂也更加贴近于生物的神经元模型，目前使用最多的是**Leakyintegrity-Fire（LIF）**模型。对于这...

Spike Response ModelSpike Response Model参考：[1] A Framework for spiking neuron models: Spike Response Model[2] Neuron Dynamics[3] Spiking Neuron Models[4] ScholarpediaLIF模型的发展，LIF是其特殊化情况W...

神经元模型篇_Izhikevich模型参考[1] IZHIKEVICH QUADRATIC MODEL FOR SPIKING NEURONS[2] 神经妙算[3] 原始论文[4] 快速了解[5] Izhikevich神经元控制参数对可塑性神经元网络动力学的影响Izhikevich博士于2003年提出，使用二叉树对HH数学上的简化对神经元的简化，最简化的是只保留firing...

SOM 自组织映射参考[1] Wiki 自组织图[2] CSDN博客[3] 第4章 SOM自组织特征映射神经网络1970年 芬兰教授Teuvo Kohonen设计外形似前馈网络，但体系在安排和动机上是不同的.竞争学习，非纠错式学习无监督生物原理——百度文库生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域...

SNN系列/1神经元模型篇_HH模型参考[1] Neuron Dynamics[2] Spiking Neurons[3] The Hodgkin Huxley Model[4] 动作电位的形成机制[5] 霍奇金赫胥黎枪乌贼巨型轴突1952年发表，1963年获诺贝尔生理学奖通过对乌贼的巨型轴突进行实验，运用数学方法分析以及三种离子描述了细胞膜电势的动态变化，是其他简化神经元...