【读论文】GOING DEEPER WITH SPIKING NEURONS: TOWARDS BINARY OUTPUTS OF DEEP LOGIC SPIKING NEURAL NETWORK

ICLR 2023

背景

由于脉冲神经元层导致的梯度消失问题，使得训练超过50层的SNN仍是一个挑战，阻碍了构建更深的SNN来获得更好的性能。

主要贡献

1. 受到生物系统中兴奋性通路与抑制性通路的启发，本文提出了一种具有双分支的新结构。在每个块的末尾，用逻辑运算代替之前常用于获取二进制脉冲而使用的算术运算，这样可以更好地利用脉冲是否发放所包含的信息，而不仅仅是0和1所包含的数值信息。
2. 首次训练出具有二进制输出并且超过100层的SNN，缓解了深度SNN的退化与沉默问题。
3. 本文提出的模型更具生物合理性，并获得了最先进的精度，包括：CIFAR10上的94.68%，ImageNet上的71.86%，在更少时间步长的CIFAR10-DVS上75.1%。

主要内容与方法

简单看一下残差结构的发展历程及应用于SNN的现状

LSN(Logical Spiking Network)

采用LIF神经元模型与reset-to-zero机制；
在生物系统中有两种通路：兴奋性通路与抑制性通路。兴奋性通路的数量大，但种类较少；而抑制性通路的数量少，种类却很多。
下图是LSN的基础块：

其中，兴奋性通路会倾向于增加输出，抑制性通路会减少输出。前一层神经元没有发放脉冲，即本层神经元输入是0，如果兴奋性通路发放脉冲，则原始不发放脉冲的神经元也开始发放脉冲；前一层神经元发放脉冲，即本层神经元输入是1，如果抑制性通路发放脉冲，则原始发放脉冲的神经元被抑制，不再发放脉冲。
下图是脉冲传递的逻辑运算，可以实现0变1，1变0，以及恒等映射（具体逻辑联系兴奋与抑制机制就很好理解了）：

可以用门机制实现恒等映射或输入变换，该网络可以避免残差脉冲神经网络在反向传播中由于脉冲神经元层造成的梯度消失问题，也就是说可以通过增加网路深度达到更好的性能。
（具体公式不分析了，感兴趣的话可以读一下原文相应段落）

总结

本文首先分析了Spike ResNet及其变体，证明了在保证二进制输出的情况下，不能直接用脉冲神经元代替ANN中残差块的激活函数层来解决SNN中的梯度消失问题。受生物神经系统的启发，本文提出了基于兴奋性与抑制性通路的LSN，在每个分支后进行逻辑运算，得到二进制输出，并在理论上证明了LSN在反向传播中不会受到梯度消失或者爆炸的影响。实验验证本文首次训练出了二进制输出且超过100层的SNN。