LIF神经元膜电压公式-迭代式推导，及其在STBP中的应用

膜电压公式

$${\tau }_m\frac{du}{dt}=-[u-u_{rest}]+RI(t)$$

迭代式1

$$u(t+\Delta t)=u(t)e^{-\frac{\Delta t}{\tau m}}+RI(t)$$

推导

当$t=t_0$时，$u(t)=u_{rest}+\Delta u$;当$t>0$
时，输入电流$I(t)$衰减到零，即$RI(t)=0$。若以$t_0$为初始状态：
$$\frac{1}{u-u_{rest}}du=-\frac{1}{{\tau }_m}dt$$
$${\int }_{u_{rest}+\Delta u}^u\frac{1}{u-u_{rest}}du=-{\int }_{t_0}^t\frac{1}{{\tau }_m}dt$$
$${\int }_{u_{rest}+\Delta u}^{u}d(u-u_{rest})=-\frac{1}{{\tau }_m}{\int }_{t_0}^{t}dt$$
$$ln(u-u_{rest}){|}_{u_{rest}+\Delta u}^u=-\frac{t}{{\tau }_m}{|}_{t_0}^t$$
$$ln(u-u_{rest})-ln(\Delta u)=-\frac{t-t_0}{{\tau }_m}$$
$$u-u_{rest}=e^{ln\Delta u-\frac{t-t_0}{\tau m}}=\Delta u{e}^{-\frac{t-t_0}{\tau m}}$$
最后得到其解为
$$u-u_{rest}=\Delta u{e}^{-\frac{t-t_0}{\tau m}}$$
一般情况下，取$u_{rest}=0$,为了简化计算，将$RI(t)$看成常数，进一步得到迭代式，
$$u(t+\Delta t)=u(t)e^{-\frac{\Delta t}{\tau m}}+RI(t)$$

应用

[1]中的公式(2)
$$u(t)=u(t_{i-1})e^{-\frac{t_{i-1}-t}{\tau }}+I(t)$$

[1]Wu Y, Deng L, Li G, Zhu J, Shi L P. Spatio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks[J]. Frontiers in Neuroscience, 2017, 12.
[2]https://blog.csdn.net/qq_34886403/article/details/75735448

最后得到STBP中TD的迭代式为

$$\{\begin{array}{rl}{x}_i^{i+1,n}& =\sum _{j=1}^{l(n-1)}{w}_{ij}^n{o}_j^{t+1,n-1}\\ u_i^{t+1,n}& =u_i^{t,n}f(o_i^{t,n})+x_i^{t+1,n}+b_i^n\\ o_i^{t+1,n}& =g(u_i^{t+1,n})\end{array}$$
其中
$$f(x)=\tau e^{-\frac{x}{\tau }}$$

$$g(x)=\{\begin{array}{r}1,x\ge V_{th}\\ 1,x<V_{th}\end{array}$$
上式中，$x_i$是第i个神经元的突触前输入的简化表示，和原始LIF模型中的I相似，$u_i$是第i个神经元的神经元膜电位，$b_i$是和阈值$V_{t}h$相关的偏差参数。
借鉴LSTM的思想，用遗忘门$f(\cdot )$来控制TD缓存，用输出门$g(\cdot )$来发射脉冲，遗忘门控制TD中的膜电压缓存泄漏程度，输出门当被激活时产生一个脉冲，对于一个很小的时间常数$\tau$,$f(\cdot )$可以被近似为，
$$f(x)=\tau e^{-\frac{x}{\tau }}$$

$$f(o_i^{t,n})=\{\begin{array}{r}\tau ,o_i^{t,n}=0\\ 0,o_i^{t,n}=1\end{array}$$
因为$\tau e^{-\frac{1}{\tau }}\approx 0$,用这种方式，原始LIF模型被转化为迭代版本，方便后续反向传播

迭代式2

推导

由膜电压公式
$$\tau \frac{du}{dt}=-u+I,u<V_{th}$$
Euler method：
$$du=u^{t+1}-u^t$$
代入得
$$\tau \frac{u^{t+1}-u^t}{dt}=-u^t+I$$
$$u^{t+1}-u^t=-\frac{dt}{\tau }{u}^t+\frac{dt}{\tau }I$$
得到迭代式
$$u^{t+1}=(1-\frac{dt}{\tau })u^t+\frac{dt}{\tau }I$$

应用

[3]Wu Y, Deng L, Li G, Zhu J, Shi L. Direct Training for Spiking Neural Networks: Faster, Larger, Better[J]. CoRR, 2018, abs/1809.05793.

1. 将$1-\frac{dt}{\tau }$替换为delay factor $k_{\tau 1}$
2. 把电流$I$expand为显性求和，${\sum }_j{w}_{j}o(j)$.其中j为突触前神经元下标，$o(j)$.表示对应突触前神经元是否发射脉冲，取值1或0
   得到公式
   $$u^{t+1}=k_{\tau 1}{u}^t+\sum _j{w}_{j}o(j)$$
   然后添加firing-and-reseting机制，当发射脉冲时，膜电位重置为静息电位
   假设$u_{rest}=0$
   $$\{\begin{array}{rl}{u}^{t+1,n+1}(i)& =k_{\tau 1}{u}^{t,n+1}(i)(1-o^{t,n+1}(i))+\sum _{j=1}^{l(n)}{w}_{ij}^n{o}^{t+1,n}(j)\\ o^{t+1,n+1}(i)& =f(u^{t+1,n+1}(i)-V_{th})\end{array}$$
   其中$w_{ij}^n$表示从第n层第j个神经元到第n+1层第i个神经元的突触权重，$l(n)$表示第n层的神经元数量。$f(\cdot )$有
   $$f(x)=\{\begin{array}{r}=0,x<0\\ =1,x\ge 0\end{array}$$
   从上式，
   若$u^{t+1,n+1}(i)\ge V_{th}$,则$o^{t,n+1}=1$,发射脉冲
   若$o^{t,n+1}=1$，即在t时刻发射脉冲，则t+1时刻膜电位被重置
   $$u^{t+1,n+1}=\sum _{j=1}^{l(n)}{w}_{ij}^n{o}^{t+1,n}(j)$$
   若$o^{t,n+1}=0$，未发射脉冲，则不会被重置

伪代码