Spatio-Temporal Backpropagation for Training High-performance Spiking Neural Networks笔记

《Spatio-Temporal Backpropagation for Training High-performance Spiking Neural Networks》笔记

ABSTRACT

STBP:Spatio-Temporal Backpropagation

1.探索SNN的一个重要原因：spikes的相关编码可以包含很多的时空信息。

2.目前很多（这篇文章发之前）研究都只关注于神经网络的空间域信息，造成了相关研究的瓶颈。也有部分只研究独立时域信息。

3.spike activity是无法微分的，这给SNN的训练造成了很大的困难。

4.本文建立了iterative LIF模型，易于梯度下降算法的训练。训练同时考虑层与层之间的空间域关系和独立的时域关系。

5.提出了spike activity导数的近似处理函数。

6.本文涉及到的训练没有采用任何复杂的训练trick。

7.应用的数据集为静态MNIST、自己建立的一个目标检测数据集、动态N-MNIST。

INTRODUCTION

1.SNN的两点优势：时间动态性&硬件友好性（时间和能量消耗低，神经形态芯片）

2.三种SNN的训练方法：

无监督学习（利用生物突触可塑性）

例如spiking timing dependent plasticity（STDP），但是其只考虑当前神经元随时间的活动所以表现不大好。

间接监督学习（ANN2SNN）

先训练好一个ANN，然后将其转换到SNN的版本。SNN的spiking rate充当ANN神经元的模拟活动。这个方法生物可信性比较差。

直接监督学习（如本文采用的STBP方法）

这种方法在本论文之前很多都只考虑了spatial domain，而没考虑temporal domain。并且需要很多复杂的训练技巧来提高准确率。但是STBP就不需要这些复杂的训练技巧。

3.利用SNN的动态特性建立了一个iterative LIF模型，这个模型对梯度下降算法很友好。介绍了近似导数来解决无法微分的问题。用三种数据集检验。

4.分析了时间动态性以及不同导数近似方法对最后结果的影响。

正文部分

LIF模型如下：

$\tau \frac{du(t)}{dt}=-u(t)+I(t)$

$u(t)$是神经元膜电位，$\tau$是时间常数，$I(t)$是前突触传来的输入，由前神经元活动以及外界干扰和突触权重决定。膜电位超过阈值$V_{th}$神经元便会激发一个脉冲，然后马上恢复到$u_{rest}$。

相比于DNN的传播，SNN的每个神经元有自反馈注入，从而在时间域产生非易失性的电位积累。

对LIF模型适当简化，并且遵循事件驱动迭代的更新规则，有下式：

$u(t)=u(t_{i-1})e^{\frac{t_{i-1}-t}{\tau }}+I(t)$

膜电位指数级衰减直到神经元接收到前突触的输入，在新的一个更新周期该神经元才有可能激发脉冲。一个神经元的状态由上式右边的两个因素决定，分别代表时域和空间域。

SNN（STBP）的整体（SD&TD）结构图如下：

在SD和TD同时进行迭代，如下式：

$x_i^{t+1,n}={\sum }_{j=1}^{l(n-1)}{w}_{ij}^n{o}_j^{t+1,n-1}$

$u_i^{t+1,n}=u_i^{t,n}f(o_i^{t,n})+x_i^{t+1,n}+b_i^n$

$O_i^{t+1,n}=g(u_i^{t+1,n})$

其中$f(x)=\tau e^{-\frac{x}{\tau }}$