脉冲神经网络（Spiking Neural Networks, SNNs）

一、脉冲神经网络概述

1.1 生物学背景与计算动机

脉冲神经网络（SNNs）的灵感来源于生物神经系统的神经元行为。生物神经元通过突触接收输入信号，膜电位逐渐积累，当超过阈值时产生动作电位（脉冲），并通过轴突传递信号。这一过程具有以下关键特性：

• 时间动态：信号的时序（脉冲发生的时间）对信息传递至关重要。
• 稀疏性：神经元仅在特定条件下激活，计算高度稀疏。
• 异步性：神经元独立处理输入，无需全局同步时钟。

SNNs试图在计算模型中重现这些特性，目标是：

• 低功耗：通过事件驱动计算，减少不必要的运算。
• 高效时序处理：利用脉冲时序编码，处理动态数据。
• 生物学逼真：为神经科学和脑机接口提供计算框架。

1.2 与传统神经网络的对比（补充技术细节）

传统人工神经网络（ANNs）基于连续激活函数（如Sigmoid、ReLU），通过矩阵运算处理静态数据。SNNs则基于离散脉冲，引入时间维度，计算方式更复杂。以下是技术层面的对比：

特性	ANNs	SNNs
激活函数	连续（如ReLU：$f(x)=\max (0,x)$）	离散（脉冲发放：$s(t)=1$ 如果 $V(t)\ge V_{th}$，否则 $s(t)=0$）
时间建模	无显式时间（前向传播逐层计算）	显式时间（膜电位随时间演化，依赖时序）
计算复杂度	$O(n^2)$（矩阵乘法，$n$为神经元数量）	$O(k)$，$k$为脉冲数量（稀疏，事件驱动）
梯度计算	连续激活函数，易于反向传播	非连续脉冲，需代理梯度或替代方法
硬件适配性	GPU/TPU（同步、浮点运算）	神经形态芯片（如Loihi，异步、整数运算）

---

二、脉冲神经网络的核心组件（深入技术细节）

2.1 神经元模型（数学建模与实现）

SNNs的核心是神经元模型，描述膜电位如何随时间演化并产生脉冲。以下是几种主要模型的详细数学原理和实现要点：

1) 漏积分-发放模型（Leaky Integrate-and-Fire, LIF）

LIF模型是SNNs中最常用的模型，因其平衡了生物学逼真度和计算效率。

• 数学描述：
  膜电位 $V(t)$ 的动态由以下微分方程描述：
  ${\tau }_m\frac{dV(t)}{dt}=-V(t)+R\cdot I(t)$
  其中：

  • ${\tau }_m=R\cdot C$：膜时间常数，$R$ 为膜电阻，$C$ 为膜电容。
  • $I(t)={\sum }_i{w}_i\cdot s_i(t)$：输入电流，$w_i$ 为突触权重，$s_i(t)$ 为输入脉冲（0或1）。
  • 当 $V(t)\ge V_{th}$（阈值）时，神经元发放脉冲，膜电位重置为 $V_{\text{reset}}$（通常为0）。

• 离散化实现（用于仿真）：
  在计算机模拟中，微分方程离散化为：
  $V(t+\Delta t)=V(t)\cdot e^{-\Delta t/{\tau }_m}+\underset{{\tau }_m}{}$