脉冲神经网络学习笔记（Tempotron）

LIF神经元模型

对于基于脉冲神经网络的时序模式分类器，我们采用漏积分发射脉冲神经元模型（LIF）。与RNN中的神经元非常类似，LIF神经元也是有状态的，或者说是有记忆，它的状态变量，一般是它的膜电位。在该神经网络模型中，每个神经元的动力学函数可以通过如下公式来进行概括：

其中，表示膜时间常数，C是膜电容，𝑅是膜电阻。𝑉代表膜电压， 是静息电位。当膜电压𝑉超过设定的常量阈值Vthr时，神经元激发一个脉冲，然后𝑉在不应期内会被重置到Vreset, 𝐼是突触前输入电流。

网络结构

 

学习规则

Tempotron规则只有在参考时间之前的突触脉冲才能引起突触权值的变化,它可以通过最小化指定阈值和实际膜电压之间的电位差来优化突触权重。它只有两个输出结果：激发或者是不激发。激发状态用于响应正确模式P+，而没有激发状态显示与其他模式P-对应，从而实现二分类的功能。根据LIF模型，突触后神经元接收来自不同突触前神经元的脉冲信号，通过不同的突触权值的累加产生不同程度的刺激或抑制。神经元的膜电位是来自所有传入脉冲的突触后电位的加权和，它可以用LIF神经元膜电位变化的积分形式来表示：

其中，wi表示与突触后神经元相连接神经元的连接权重，Vrest是神经元的静息电位。𝐾表示规范化的突触后电位的核函数：

                                                                                             

其中，τm和τs 表示膜电压整合和突触电流的衰减时间常数，即快延迟时间常量和慢延迟时间常量。对单个脉冲产生的膜电压进行规范化，使内核产生电压的最大值为1。𝐾是一个必须满足脉冲时间ti≤𝑡的核函数。当膜电位𝑉朩超过放电阈值时，神经元发出一个脉冲，然后电位被重置为Vrest。

当观测到发放的脉冲的状态和指定的类不符合时，Tempotron规则将修改突触权重。这里采用梯度下降学习规则使权重达到最小化，具体如下：

                                                   

其中，tmax 表示神经元在时域中达到其最大膜电位值的时间。𝜆>0是表示学习速率的常数，它表示突触效能的最大变化。在这个学习规则中，𝑃+代表的误差模式表示神经元应该发放一个脉冲，但它没有；𝑃−表示神经元不应该发放脉冲，但却发放了脉冲。