SNN系列｜学习算法篇(2)SpikeProp

SpikeProp

论文传送门

SpikeProp算法可以认为是SNN里BP的最早版本，它可以处理多层神经网络，但只能是单输入单输出，SpikeProp的特点是对脉冲发放的时间进行误差最小化，核心也就是下面的公式，其中$t_j^a$表示神经元第一次发放脉冲的时间。
$$E=\frac{1}{2}\sum _{j\in J}{\left(t_j^{\mathrm{a}}-t_j^{\mathrm{d}}\right)}^2$$

SRM

SpikeProp算法使用该神经元模型的一个原因是其表现形式是解析的，在以后求解脉冲发放时间与膜电势关系时可以通过数学关系进行求解，而使用LIF等模型无法进行求导等操作。

原文中使用的SpikeProp算法是多延时模型，即两层神经元之间有多个突触，且时延不同。
$$\begin{gathered} x_j(t)=\sum _{i\in {\Gamma }_j}\sum _{k=1}^m{w}_{ij}^k{y}_i^k(t) \\ {y}_i^k(t)=\epsilon \left(t-t_i-d^k\right) \\ \epsilon (t)=\frac{t}{\tau }{\mathrm{e}}^{1-t/\tau } \end{gathered}$$
$t_i$为神经元i膜电势第一次越过常数阈值时的时间。

（一度怀疑原文中的模型不能称之为SRM，因为SRM使用的是动态阈值，这里更像是连续形式的LIF模型）

梯度计算

对符号进行说明：输入层H，隐藏层I， 输出层J

类似经典BP算法，这里使用链式求导法则，对输出层权重进行更新
$$\Delta w_{ij}^k=-\eta \frac{\partial E}{\partial w_{ij}^k}=-\eta \frac{\partial E}{\partial t_j}\frac{\partial t_j}{\partial w_{ij}^k}=-\eta (t_j^a-t_j^d))\frac{\partial t_j}{\partial w_{ij}^k}$$
整个算法的难点也就落在了如何求解$\frac{\partial t_j}{\partial w_{ij}^k}$，因为脉冲发放时刻是在膜电势达到阈值这个条件定义的，我们可以认为$t_j$是膜电势的一个非线性函数，当然它无法写出显式的公式。

• 线性假设

因为我们关注的是脉冲发放时刻，因此，不妨假设在脉冲发放时刻的小邻域内，二者呈线性关系。当膜电势增加$\delta x_j$时，相应的脉冲发放时间应提前（减小）$\delta t_j^a$。另一方面，观察$x_j$与仿真时间$t$的关系，在较小邻域内，其斜率为$\alpha =\frac{\partial x_j(t)}{\partial t}(t_j^a)$。

显然我们可以得得到
$$\frac{\partial t_j}{\partial x_j(t)}\left(t_j^a\right)={\frac{\partial t_j\left(x_j\right)}{\partial x_j(t)}|}_{x_j=\vartheta }=\frac{-1}{\alpha }=\frac{-1}{\partial x_j(t)/\partial t\left(t_j^a\right)}=\frac{-1}{{\sum }_{i,l}{w}_{ij}^l\left(\partial y_i^l(t)/\partial t\right)\left(t_j^a\right)}$$

• 数学推导

文献[3]证明了即使不使用线性假设，上述公式也是正确的。

求解$\frac{\partial t_j}{\partial w_{ij}^k}$，其实可以看成是当${\omega }_{ij}^k$变化$\delta {\omega }_{ij}^k$时，脉冲发放时刻如何变化。权重变化势必造成膜电势变化
$$\delta x_j(t)=\delta {\omega }_{ij}ϵ(t-t_i^d-d_i^k)$$
再来看看权重变化前后的脉冲发放时刻的定义
$$\begin{gathered} before:x(t_j^a)=\vartheta \\ after:x_j(t_j^a+\delta t_j^a)+\delta x_j(t_j^a+\delta t_j^a)=\vartheta \end{gathered}$$
由上述公式其实也能看出要写出$t_j$与$x_j$的显式关系是不可能的。因为神经元模型的定义是连续的，一阶可导的，上述公式可以展开
$$\begin{gathered} x_j\left(t_j^a\right)+\delta t_j^a\frac{\partial x_j}{\partial t}\left(t_j^a\right)+\delta x_j\left(t_j^a\right)+\delta t_j^a\frac{\partial \delta x_j}{\partial t}\left(t_j^a\right)+o\left(\delta t_j^a\right)=\vartheta \\ ⟹\delta t_j^a\frac{\partial x_j}{\partial t}\left(t_j^a\right)+\delta x_j\left(t_j^a\right)+\delta t_j^a\frac{\partial \delta x_j}{\partial t}\left(t_j^a\right)+o\left(\delta t_j^a\right)=0 \end{gathered}$$
由本节第一个公式可知，当$\delta {\omega }_{ij}\to 0$时，$\frac{\partial \delta x_j}{\partial t}\left(t_j^a\right)\to 0$，因变量$\delta t_j^a\to 0$，于是上式可简化如下：
$$\begin{gathered} \delta t_j^a\frac{\partial x_j}{\partial t}\left(t_j^a\right)+\delta x_j\left(t_j^a\right)=0 \\ ⟹\underset{\delta w_{ij}\to 0}{\lim }\frac{\delta x_j\left(t_j^a\right)}{\delta t_j^a}=-\frac{\partial x_j}{\partial t}\left(t_j^a\right) \end{gathered}$$
进而我们可以得到同样的结论
$$\frac{\partial t_j^a}{\partial w_{ij}}=\underset{\delta w_{ij}\to 0}{\lim }\frac{\delta t_j^a}{\delta w_{ij}}=\frac{\partial x_j}{\partial w_{ij}}\left(t_j^a\right)\left(-{\left\{\frac{\partial x_j}{\partial t}\left(t_j^a\right)\right\}}^{-1}\right)$$

• 反向传播

解决了$\frac{\partial t_j}{\partial w_{ij}^k}$的问题，对输出层
$$\begin{gathered} {\delta }_j\equiv \frac{\partial E}{\partial t_j^{\mathrm{a}}}\frac{\partial t_j^{\mathrm{a}}}{\partial x_j\left(t_j^{\mathrm{a}}\right)}=\frac{\left(t_j^{\mathrm{d}}-t_j^{\mathrm{a}}\right)}{\sum _{i\in {\Gamma }_j}\sum _l{w}_{ij}^l\left(\partial y_i^l\left(t_j^{\mathrm{a}}\right)/\partial t_j^{\mathrm{a}}\right)} \\ \Delta w_{ij}^k\left(t_j^{\mathrm{a}}\right)=-\eta \frac{y_i^k\left(t_j^{\mathrm{a}}\right)\left(t_j^{\mathrm{d}}-t_j^{\mathrm{a}}\right)}{\sum _{i\in {\Gamma }_j}\sum _l{w}_{ij}^l\left(\partial y_i^l\left(t_j^{\mathrm{a}}\right)/\partial t_j^{\mathrm{a}}\right)} \end{gathered}$$
对隐藏层有
$$\begin{gathered} {\delta }_i=\frac{\partial t_i^{\mathrm{a}}}{\partial x_i\left(t_i^{\mathrm{a}}\right)}\frac{\partial E}{\partial t_i^{\mathrm{a}}}=\frac{\partial t_i^{\mathrm{a}}}{\partial x_i\left(t_i^{\mathrm{a}}\right)}\sum _{j\in {\Gamma }^i}\frac{\partial E}{\partial t_j^{\mathrm{a}}}\frac{\partial t_j^{\mathrm{a}}}{\partial x_j\left(t_j^{\mathrm{a}}\right)}\frac{\partial x_j\left(t_j^{\mathrm{a}}\right)}{\partial t_i^{\mathrm{a}}}=\frac{\partial t_i^{\mathrm{a}}}{\partial x_i\left(t_i^{\mathrm{a}}\right)}\sum _{j\in {\Gamma }^i}{\delta }_j\frac{\partial x_j\left(t_j^{\mathrm{a}}\right)}{\partial t_i^{\mathrm{a}}} \\ =\frac{\partial t_i^{\mathrm{a}}}{\partial x_i\left(t_i^{\mathrm{a}}\right)}\sum _{j\in {\Gamma }^i}{\delta }_j\sum _k{w}_{ij}^k\frac{\partial y_i^k\left(t_j^{\mathrm{a}}\right)}{\partial t_i^{\mathrm{a}}}=\frac{\sum _{j\in {\Gamma }^i}{\delta }_j\left\{\sum _k{w}_{ij}^k\left(\partial y_i^k\left(t_j^{\mathrm{a}}\right)/\partial t_i^{\mathrm{a}}\right)\right\}}{\sum _{h\in {\Gamma }_i}\sum _l{w}_{hi}^l\left(\partial y_h^l\left(t_i^{\mathrm{a}}\right)/\partial t_i^{\mathrm{a}}\right)} \\ \Delta w_{hi}^k=-\eta y_h^k\left(t_i^{\mathrm{a}}\right){\delta }_i=-\eta \frac{y_h^k\left(t_i^{\mathrm{a}}\right)\sum _j\left\{{\delta }_j\sum _k{w}_{ij}^k\left(\partial y_i^k\left(t_j^{\mathrm{a}}\right)/\partial t_i^{\mathrm{a}}\right)\right\}}{\sum _{n\in {\Gamma }_i}\sum _l{w}_{ni}^l\left(\partial y_n^l\left(t_i^{\mathrm{a}}\right)/\partial t_i^{\mathrm{a}}\right)} \end{gathered}$$
算法更新过程如下：

编码

对于较大的数据集，为了保证每个输入只有一个脉冲，SpikeProp使用GRF编码，详见SNN系列编码部分。

代码

略

参考

[1] Error-backpropagation in temporally encoded networks ofspiking neurons

[2] 脉冲时序编码的有监督脉冲神经网络算法研究

[3] A remark on the error-backpropagation learning algorithm for spiking neural networks