SNN系列｜学习算法篇(4)SWAT

SWAT

SWAT算法最重要的是隐层的滤波器设计，权重的学习在STDP的基础上加入了BCM规则，网络的输出层也比较有特色，就是所有的训练都是在一个训练神经元上，然后将其映射到分配好的输出神经元上。

BCM Rules

BCM起初是一种平衡Hebb学习的规则，根据神经元状态滑动阈值，进而决定突触更新是增强还是抑制，以此来平衡突触活动。在SWAT算法中，BCM规则用于更新STDP的高度。
$$\begin{gathered} A_{+}\left({\theta }_m\right)=A_p\frac{1}{1+{\theta }_m\left(c_t\right)} \\ {A}_{-}\left({\theta }_m\right)=A_p-A_{+}\left({\theta }_m\right) \\ {\theta }_m\left({\omega }_t\right)={\left(\frac{{\omega }_t}{c_o}\right)}^{\alpha }{\omega }_t \end{gathered}$$
$c_0$和$\alpha (=2)$是常数，${\omega }_t$用于在每次epoch之初确定STDP的窗口高度。

Topology

SWAT是一个三层网络，输入层根据输入数据的特征数$s$决定，隐层有$s$个array，输出层有$n$个分类神经元以及一个训练神经元。输入层使用泊松编码。

隐层可以看成是一些频率选择滤波器，隐层突触包含兴奋类和抑制两类，并按照输入脉冲频率初始化为固定值，在网络训练过程中不变。

这个滤波的过程没太看懂，其实现的过程主要为了对特定的频率进行响应，通过设置响应频率，在仿真期间每个array里的总有个神经元会进行响应。

神经元采用LIF模型
$${\tau }_m\frac{dv}{dt}=-v(t)+R_m{I}_{tot}(t)$$
神经元的阈值是动态更新的，神经元发放脉冲后，其脉冲发放的阈值便会动态变化
$$V_{thrnew}=m\times V_{throld}\exp \left(-\frac{t-t_i}{{\tau }_{decay}}\right)$$

Training

1、SWAT在训练时将输入样本按类分成堆，每堆样本的个数为$m_n$；
2、每次迭代开始时，先使用上面提到的BCM规则确定STDP的窗口；
3、输入样本序列，根据训练神经元的脉冲使用STDP法则计算权重变化$\delta {\omega }_{i}n$；
$$\begin{gathered} \delta {\omega }_{in}=\sum _0^r\delta \omega \\ \delta \omega =\{\begin{array}{l}{A}_{+}\exp (\frac{\Delta t}{{\tau }_{+}})\\ A_{-}\exp (\frac{\Delta t}{{\tau }_{-}})\end{array} \end{gathered}$$
4、将学习到的权重变化映射到输出神经元对应的突触权值。

参考

[1] [SWAT: A Spiking Neural Network Training Algorithm for Classification Problems](