《Spatio-Temporal Backpropagation for Training High-performance Spiking Neural Networks》笔记
ABSTRACT
STBP:Spatio-Temporal Backpropagation
1.探索SNN的一个重要原因:spikes的相关编码可以包含很多的时空信息。
2.目前很多(这篇文章发之前)研究都只关注于神经网络的空间域信息,造成了相关研究的瓶颈。也有部分只研究独立时域信息。
3.spike activity是无法微分的,这给SNN的训练造成了很大的困难。
4.本文建立了iterative LIF模型,易于梯度下降算法的训练。训练同时考虑层与层之间的空间域关系和独立的时域关系。
5.提出了spike activity导数的近似处理函数。
6.本文涉及到的训练没有采用任何复杂的训练trick。
7.应用的数据集为静态MNIST、自己建立的一个目标检测数据集、动态N-MNIST。
INTRODUCTION
1.SNN的两点优势:时间动态性&硬件友好性(时间和能量消耗低,神经形态芯片)
2.三种SNN的训练方法:
无监督学习(利用生物突触可塑性)
例如spiking timing dependent plasticity(STDP),但是其只考虑当前神经元随时间的活动所以表现不大好。
间接监督学习(ANN2SNN)
先训练好一个ANN,然后将其转换到SNN的版本。SNN的spiking rate充当ANN神经元的模拟活动。这个方法生物可信性比较差。
直接监督学习(如本文采用的STBP方法)
这种方法在本论文之前很多都只考虑了spatial domain,而没考虑temporal domain。并且需要很多复杂的训练技巧来提高准确率。但是STBP就不需要这些复杂的训练技巧。
3.利用SNN的动态特性建立了一个iterative LIF模型,这个模型对梯度下降算法很友好。介绍了近似导数来解决无法微分的问题。用三种数据集检验。
4.分析了时间动态性以及不同导数近似方法对最后结果的影响。
正文部分
LIF模型如下:
τ d u ( t ) d t = − u ( t ) + I ( t ) \tau\frac{du(t)}{dt} = -u(t) + I(t) τdtdu(t)=−u(t)+I(t)
u ( t ) u(t) u(t)是神经元膜电位, τ \tau τ是时间常数, I ( t ) I(t) I(t)是前突触传来的输入,由前神经元活动以及外界干扰和突触权重决定。膜电位超过阈值 V t h V_{th} Vth神经元便会激发一个脉冲,然后马上恢复到 u r e s t u_{rest} urest。
相比于DNN的传播,SNN的每个神经元有自反馈注入,从而在时间域产生非易失性的电位积累。
对LIF模型适当简化,并且遵循事件驱动迭代的更新规则,有下式:
u ( t ) = u ( t i − 1 ) e t i − 1 − t τ + I ( t ) u(t) = u(t_{i-1})e^\frac{t_{i-1}-t}{\tau} + I(t) u(t)=u(ti−1)eτti−1−t+I(t)
膜电位指数级衰减直到神经元接收到前突触的输入,在新的一个更新周期该神经元才有可能激发脉冲。一个神经元的状态由上式右边的两个因素决定,分别代表时域和空间域。
SNN(STBP)的整体(SD&TD)结构图如下:
在SD和TD同时进行迭代,如下式:
x i t + 1 , n = ∑ j = 1 l ( n − 1 ) w i j n o j t + 1 , n − 1 x_i^{t+1,n} = \sum_{j=1}^{l(n-1)}w_{ij}^no_j^{t+1,n-1} xit+1,n=∑j=1l(n−1)wijnojt+1,n−1
u i t + 1 , n = u i t , n f ( o i t , n ) + x i t + 1 , n + b i n u_i^{t+1,n} = u_i^{t,n}f(o_i^{t,n})+x_i^{t+1,n} + b_i^n uit+1,n=uit,nf(oit,n)+xit+1,n+bin
O i t + 1 , n = g ( u i t + 1 , n ) O_i^{t+1,n} = g(u_i^{t+1,n}) Oit+1,n=g(uit+1,n)
其中 f ( x ) = τ e − x τ f(x) = \tau e^{-\frac{x}{\tau}} f(x)=τe−τx