2024年顶会SNN相关论文

原文链接：https://blog.csdn.net/qq_43622216/article/details/135167498

个人收集精力有限，欢迎各位评论或者私信告知SNN相关论文研究！

目录

说明

这篇博客主要用于记录2024年在一些顶会顶刊（AAAI、CVPR等）上发表的SNN相关的论文，会附上相关论文的链接及简单介绍，正在更新中…
更新SNN相关论文、动态信息，欢迎浏览讨论！

AAAI 2024（共15篇）

• 论文1: Shrinking Your TimeStep: Towards Low-Latency Neuromorphic Object Recognition with Spiking Neural Networks
  • 由电子科技大学左琳教授团队发表于AAAI 2024。
  • 提出了Shrinking SNN (SSNN)，将SNN划分为多个阶段，每个阶段的时间步长逐渐收缩，实现低时间步长的神经形态目标识别。（一个异质性时间步长的SNN）
  • 在SNN每个阶段后额外加入分类器，与标签计算损失，缓解代理梯度和真实梯度的不匹配、梯度爆炸/消失问题，从而提升SNN的性能。

• 论文2: Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks

  • 由中国航天科工集团公司智能科学技术研究院研究人员发表于AAAI 2024。
  • 提出了ternary spike neuron产生0/1/-1脉冲，并在三元脉冲神经元中嵌入了一个可训练因子来学习合适的脉冲幅值，这样的SNN会逐层采用不同的脉冲幅值α，从而更好地适应膜电位逐层分布不同的现象。
  • 在推理时，通过重参数化将可训练的三元脉冲SNN再次转换为标准SNN。

• 论文3: Memory-Efficient Reversible Spiking Neural Networks

  • 由浙江大学研究人员发表于AAAI 2024。
  • 提出了reversible SNN以降低直接训练SNN的内存开销，每一层的输入变量和膜电位可以通过其输出变量重新计算而无需在内存中存储。
  • 设计了Spiking reversible block用于构建Reversible spiking residual neural network和Reversible spiking transformer。

• 论文4: Gated Attention Coding for Training High-performance and Efficient Spiking Neural Networks

  • 由电子科技大学大学、加利福尼亚大学、中科院自动化所（李国齐团队）研究人员发表于AAAI 2024。
  • 提出了Gated Attention Coding (GAC)对输入应用注意力机制进行编码。
  • Gated Attention Unit (GAU)：使用CBAM提取时间维度的注意力分数；使用共享的2D卷积提取每个时刻的通道-空间注意力分数。
    

• 论文5: DeblurSR: Event-Based Motion Deblurring Under the Spiking Representation

  • 由德克萨斯大学奥斯汀分校研究人员发表于AAAI 2024。

• 论文6: Dynamic Reactive Spiking Graph Neural Network

  • 由西安电子科技大学、上海交通大学等研究人员发表于AAAI2024。

• 论文7: An Efficient Knowledge Transfer Strategy for Spiking Neural Networks from Static to Event Domain

  • 由中科院自动化所等研究人员发表于AAAI2024。
  • 同时学习静态数据和神经形态数据，在中间层对二者的表征进行蒸馏学习。
  • sliding training strategy：训练时静态图像输入一定概率地被替换为事件数据，并且这种替换概率随着时间步长（应该是训练的epoch和batch）而增大，直到学习阶段结束，此时事件数据将替换所有的静态图像。

• 论文8: Enhancing Representation of Spiking Neural Networks via Similarity-Sensitive Contrastive Learning

  • 由中国航天科工集团公司智能科学技术研究院研究人员发表于AAAI 2024。
  • 提出了similarity-sensitive contrastive learning以及一个逐层基于CKA加权的策略，最大化ANN和SNN中间表征的互信息，减少SNN表示的不确定性。
  • 对逐层样本特征使用Noise-Contrastive Estimation(NCE)进行对比学习，拉近SNN和预训练的ANN对同一个样本的表征距离，推开不同样本的表征距离，使用逐层的CKA对NCE进行loss加权。
    

• 论文9: Efficient Spiking Neural Networks with Sparse Selective Activation for Continual Learning

  • 由浙江大学等研究人员发表于AAAI2024。
  • 利用SNN中脉冲的稀疏性和权重更新的稀疏性来降低内存开销、缓和灾难性遗忘问题。针对连续学习任务。
  • 提出了trace-based K-Winner-Take-All (KWTA)和可变阈值机制的selective activation SNNs (SA-SNN)持续学习模型，通过增强SNN的神经动力学特性来减轻灾难性遗忘，并且不需要任务标记或记忆重播。

• 论文10: Spiking NeRF: Representing the Real-World Geometry by a Discontinuous Representation

  • 由浙江大学潘纲教授团队发表于AAAI 2024。

• 论文11: SpikingBERT: Distilling BERT to Train Spiking Language Models Using Implicit Differentiation

  • 由宾夕法尼亚州立大学研究人员发表于AAAI 2024。
  • 提出了一个spiking language model (LM)。利用模型的稳态收敛性，引入了一种可操作的脉冲注意机制，提出了一种新的基于ANN-SNN的KD，以实现更快、更有效的学习，并探索了使用基于隐式微分的技术训练spiking LMs，从而克服了影响基于SNN架构训练的多个问题。

• 论文12: TC-LIF: A Two-Compartment Spiking Neuron Model for Long-term Sequential Modelling

  • 由香港理工大学（Kay Chen Tan团队）、新加坡国立大学、香港中文大学(深圳)研究人员发表于AAAI 2024。
  • 给出了P-R锥体神经元的泛化公式：两房室神经元。
  • 基于P-R椎体神经元，设计了Two-Compartment(TC)-LIF神经元以促进长期的序列建模。

• 论文13: Enhancing Training of Spiking Neural Network with Stochastic Latency

  • 由穆罕默德·本·扎耶德人工智能大学等研究人员发表于AAAI2024.
  • 提出了Stochastic Latency Training (SLT)，训练期间的每个batch随机采样延迟对SNN进行训练。

• 论文14: Enhancing the robustness of spiking neural networks with stochastic gating mechanisms

  • 由北京大学（黄铁军、于肇飞组）研究人员发表于AAAI 2024。
  • 在大脑中，神经元反应通常具有离子通道和突触诱导的随机性，而随机性在计算任务中的作用尚不清楚。
  • 将随机性引入SNN，构建了stochastic gating (StoG) spiking neural model，可以被视为用于防止攻击下误差放大的正则化器。
  • 每一层、每一个时间步长从特定的伯努利分布中采用门控因子G的值，然后对前一层产生的脉冲进行门控相乘，随机接收信息。提升对抗攻击鲁棒性。

• 论文15: Dynamic Spiking Graph Neural Networks

  • 由穆罕默德·本·扎耶德人工智能大学、河北工业大学、北京大学、吉林大学、哈尔滨工业大学等研究人员发表于AAAI 2024

• 论文16:Point-to-Spike Residual Learning for EnergyEfficient 3D Point Cloud Classification

  • 由安徽大学等研究人员发表于AAAI 2024，使用SNN用于点云识别。
  • 提出了一个point-to-spike residual learning network：设计了一个spatial-aware kernel point spiking(KPS) neuron，以及3D spiking residual block。
  • KPS神经元：连接IF神经元和kernel point convolution操作。

IJCAI 2024

• 论文1:Learning A Spiking Neural Network for Efficient Image Deraining

  • 由大连工业大学等研究人员发表于IJCAI2024。
  • 提出了Efficien Spiking Deraining Network(ESDNet)用于图像去雨
    

• 论文2:LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization

  • 由新加坡国立大学等研究人员发表于IJCAI2024。

• 论文3:TIM: An Efficient Temporal Interaction Module for Spiking Transformer

  • 由中科院自动化所等研究人员发表于IJCAI2024。
  • 针对已有的脉冲自注意力不能充分地建模时序特征的问题，提出了Temporal Interaction Module（TIM），将其集成至Spikformer中的Query后面。
    

• 论文4:One-step Spiking Transformer with a Linear Complexity

  • 由四川大学等研究人员发表于IJCAI 2024。

• 论文5:EC-SNN: Splitting Deep Spiking Neural Networks for Edge Devices

  • 由浙江大学等研究人员发表于IJCAI 2024。

• 论文6:Apprenticeship-Inspired Elegance: Synergistic Knowledge Distillation Empowers Spiking Neural Networks for Efficient Single-Eye Emotion Recognition

  • 由大连理工大学、新加坡国立大学、中科院自动化所、香港中文大学等研究人员发表于IJCAI2024。
  • 使用多模态（event-frame）教师引导单模态SNN的训练用于单眼情绪识别，利用传统frame中发现的大量、粗糙的时间线索来进行有效的情感识别。
  • 提出了Diverse Single-eye Event-based Emotion (DSEE) dataset。

ICLR 2024

• 论文1:A Progressive Training Framework for Spiking Neural Networks with Learnable Multi-hierarchical Model

  • 由北京大学（黄铁军、于肇飞组）研究人员发表于ICLR2024。
  • 提出了Learnable Multi-hierarchical (LM-H) model，并开发了progressive STBP算法用于训练LM-H模型。
  • LM-H模型引入了树突和胞体膜电势（等价于多房室神经元），其中的多个参数设置为逐时间步长可学习的。
  • progressively优化模型：将LM-H中可学习的参数初始化为0使其退化为LIF/IF神经元模型，然后自适应学习参数。

• 论文2:EventRPG: Event Data Augmentation with Relevance Propagation Guidance

  • 由香港科技大学等研究人员发表于ICLR2024。
  • 提出了Spiking Layer-Time-wise Relevance Propagation (SLTRP)和Spiking Layerwise Relevance Propagation (SLRP)揭示SNN中的显著信息。
  • 提出了RPGDrop和RPGMix进行事件数据的数据增强，与其他的几何数据增强一起命名为EventRPG。

• 论文3:SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition

  • 由香港科技大学研究人员发表于ICLR2024。
  • 提出了SpikePoint，端到端的point-based SNN用于事件动作识别。

• 论文4:Can we get the best of both Binary Neural Networks and Spiking Neural Networks for Efficient Computer Vision

  • 由南加州大学研究人员发表于ICLR2024。
  • 使用Hoyer regularizer的变体提出了稀疏的binary activation neural networks(BANN)，估计每个BANN层的阈值作为其激活映射的裁剪版本的Hoyer极值，其中裁剪值使用梯度下降和我们的Hoyer正则化器进行训练。
  • 使激活值远离阈值，从而减轻了噪声的影响，否则噪声会降低BANN的准确性。

• 论文5:LMUFormer: Low Complexity Yet Powerful Spiking Model With Legendre Memory Units

  • 由南加州大学研究人员发表于ICLR2024。
  • 展示对fully sequence循环模型的体系结构修改如何有助于将其性能推向Transformer模型，同时保留其顺序处理能力。
  • 提出了LMUFormer以及该架构的脉冲版本，该版本引入了补丁嵌入和通道混频器模块中状态的好处，同时降低了计算复杂性.

• 论文6:Spatio-Temporal Approximation: A Training-Free SNN Conversion for Transformers

  • 由清华大学等研究人员发表于ICLR2024。
  • 虽然现有的转换方法在CNN上的效果很好，但Transformer模型引入了自注意力和test-time normalization等机制，难以将其转换为SNN。
  • 论文在时空维度对这些操作进行近似，用于转换Transformer模型为SNN。
  • 提出在空间上近似非线性操作的Universal Group Operator和通过估计校正方法近似推理中的脉冲乘法的Temporal-Corrective Self-Attention Layer。

• 论文7:TAB: Temporal Accumulated Batch Normalization in Spiking Neural Networks

  • 由阿联酋穆罕默德·本·扎耶德人工智能大学等研究人员发表于ICLR 2024
  • SNN中的时间依赖以及Temporal Covariate Shift (TCS)现象对SNN中的BN方法造成了极大的挑战。
  • 提出了TAB (Temporal Accumulated Batch Normalization)，通过对齐时间依赖解决了TCS问题。
  • 计算每个时刻输入的BN统计参数（均值和方差），基于移动平均得到前面所有时间步长的平均统计值进行BN。另外，对每个时刻BN后的数据使用额外的可学习权重调整。
    

• 论文8:Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips

  • 由中科院自动化所（李国齐）、北京大学（田永鸿）等研究人员发表于ICLR2024。
  • 提出了Meta-SpikeFormer，进一步改进了Spike-driven Transformer的性能。
    

• 论文9:Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales for Pruning Recurrent SNN

  • 由佐治亚理工学院研究人员发表于ICLR 2024。
  • 异质性的RSNN具有更强的学习能力和更好的性能，但这同时也带来了更多的神经元，使得模型更复杂难以优化。论文提出了一种任务不可知（task-agnostic method）的方法Lyapunov Noise Pruning (LNP)来设计稀疏化的RSNN。
  • 从随机初始化和任意初始化密集(复杂)HRSNN模型开始。利用Heterogeneous RSNN(HRSNN)模型的Lyapunov谱和谱图稀疏化算法来修剪突触和神经元，同时保持网络稳定。得到的随机稀疏的HRSNN可以使用有监督(反向传播)或无监督(STDP)方法来训练不同的目标任务。

• 论文10:Towards Energy Efficient Spiking Neural Networks: An Unstructured Pruning Framework

  • 由北京大学于肇飞组研究人员发表于ICLR 2024。
  • 集成了非结构化的权重和神经元剪枝提升SNN的能量效率。

• 论文11:Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks

  • 由北京大学林宙辰团队、香港中文大学等研究人员发表于ICLR 2024。
  • 提出了Hebbian learning based orthogonal projection (HLOP)以缓解SNN的灾难性遗忘问题，实现持续学习。
  • 利用横向神经计算和Hebbian学习从流数据中提取神经元活动的principle subspaces，并且将突触权重更新的活动轨迹投影到一个正交子空间中，保证学习新知识时的学习能力不会受到太大影响。

ICML 2024（共13篇）

• 论文1:High-Performance Temporal Reversible Spiking Neural Networks with $O(L)$ Training Memory and $O(1)$ Inference Cost

  • 由北京大学田永鸿、自动化所徐波、李国齐等研究人员发表于ICML2024。
  • 实验发现：SNN（ResNet）中每个阶段的最后一层的时间维度梯度比较重要，其他层倒不重要。
  • 设计了Temporal Reversible SNN（T-RevSNN），仅保留每个阶段最后一层脉冲神经元的时间维度。
  • 将第$l$层后面所有层的神经元在前一个时间步长的膜电势向前传递。

• 论文2:Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning

  • 由北京大学林宙辰组发表于ICML2024。
  • 指出：当SNN与突触延迟和时间编码相结合时，能够熟练地执行(知识)图推理；脉冲时间可以作为一个额外的维度，通过神经广义路径公式（neural generalized path formulation）来编码关系属性。

• 论文3:Robust Stable Spiking Neural Networks

  • 由北京大学黄铁军组发表于ICML2024。
  • 旨在通过非线性系统的稳定性来揭示SNN的鲁棒性。
  • 灵感来自于：寻找参数来改变leaky integrate-and-fire动力学可以增强它们的鲁棒性。
  • 指出：膜电位扰动动力学可以可靠地反映扰动的强度；简化的扰动动力学能够满足输入输出稳定性。
  • 基于改进的脉冲神经元提出了新的训练框架，减小了膜电位扰动的均方，以增强SNN的鲁棒性。

• 论文4:Autaptic Synaptic Circuit Enhances Spatio-temporal Predictive Learning of Spiking Neural Networks

  • 由北京大学于肇飞组发表于ICML2024。
  • 从生物autapse受到启发，提出了Spatio-Temporal Circuit Leaky Integrate-and-Fire (STC-LIF) model以提升SNN的specificity 和topological complexity，增强SNN在时空预测任务中的性能。
  • 在普通的LIF模型中引入了axon-dendrite和axon-soma circuits动态约束输入电流和历史信息，相当于动态地进行膜电势和输入的leakage和加权。
  • autapse：在神经元的轴突和树突间存在突触连接。
    

• 论文5:Enhancing Adversarial Robustness in SNNs with Sparse Gradients

  • 由北京大学黄铁军组发表于ICML2024。
  • 指出：与对抗性扰动相比，SNN对随机扰动表现出更大的弹性，即使在更大的尺度上也是如此。
  • 理论上证明了这一性能差距的上界是与输入图像的真实标签相关的概率的梯度稀疏性。
  • 提出通过正则化梯度稀疏度来训练鲁棒的SNN。

• 论文6:Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning

  • 由大连理工大学、浙江大学等研究人员发表于ICML2024。
  • 提出了Spiking Channel Activity based (SCA)用于SNN的动态结构剪枝框架，基于脉冲活动动态地决定每个通道的重要性并在训练过程中优化网络结构。
  • Channel Importance Score：每次迭代时计算每一层每个通道的平均膜电势（L1系数）
  • Filter Pruning：每次计算Channel Importance Score对其进行排序，将最低的部分通道视为冗余组件，然后以p%的比例进行mask掉。mask掉的通道继续参与训练。
  • Selective Growth：每次迭代时额外mask掉q%的通道，并重新生成q%的已经mask的通道。通过BN层中的γ参数的梯度来评估应该重新生成的通道。

• 论文7:SpikeZIP-TF: Conversion is All You Need for Transformer-based SNN

  • 由上海交通大学等研究人员发表于ICML2024。
  • 提出了SpikeZIP Transformer（SpikeZIP-TF）方法进行ANN转SNN，引入了spike-equivalent self-attention (SESA)、Spike-Softmax和Spike-LayerNorm。
  • 通过在转换后的SNN中支持对SNN不友好的ANN算子(如Softmax和layernorm)，建立了基于激活量化Transformer的ANN与SNN之间的等价关系。
  • ST-BIF+ neuron。

• 论文8:Efficient and Effective Time-Series Forecasting with Spiking Neural Networks

  • 由复旦大学、微软亚研院等研究人员发表于ICML2024。
  • 指出：将SNN用于时间序列预测时难以有效地进行时间对齐，并且编码复杂，缺乏标准的模型选择指南。
  • 提出了Delta Spike Encoder和Convolutional Spike Encoder进行脉冲编码，并将TCN、RNN和iTransformer等架构转换为spiking版本。

• 论文9:Sign Gradient Descent-based Neuronal Dynamics: ANN-to-SNN Conversion Beyond ReLU Network

  • 由首尔大学研究人员发表于ICML2024。

• 论文10:NDOT: Neuronal Dynamics-based Online Training for Spiking Neural Networks

  • 由穆罕默德·本·扎耶德人工智能大学、哈工大、吉林大学等研究人员发表于ICML2024。
  • 提出了Neuronal Dynamics-based Online Training (NDOT)算法训练SNN，在计算梯度的时候使用neuronal dynamics-based continuous temporal dependency，能够降低训练期间的内存开销。随着时间步长的增大具有常数量的内存开销。
  • 利用Follow-the-Regularized-Leader(FTRL)解释NDOT背后的直觉，展示了NDOT能够隐式捕获历史信息，类似于FTRL中显式使用历史信息。

• 论文11:Towards Efficient Spiking Transformer: a Token Sparsification Framework for Training and Inference Acceleration

  • 由中科院自动化所等研究人员发表于ICML2024。
  • 已有的token稀疏化metric不能充分地捕捉到语义信息且缺少standardized and consistent criteria of importance。
  • 提出Sparsification with Timestep-wise Anchor Token and dual Alignments(STATA)对spiking Transformer进行稀疏化。
  • Timestep-wise Anchor Token：在每个时间步长中向patch中的0号位置添加Anchor Token并在网络中前向传播，基于这些Anchor Token的值判断对应token的重要性。能够基于standardized criteria跨时间步长准确识别重要的token。
  • 在Spiking Transformer中，不同时间步长和不同head之间的特征图可能差异较大，这会影响token的重要性识别及性能。提出Dual Alignments则结合了注意力图的Intra and Inter Alignment，促进inferior attention的学习。
    • Intra-Alignment of attention：在训练过程中使用superior attention map监督inferior map。在timestep和head两个维度根据L2范数对attention maps进行排序并以1：1的比例划分出superior和inferior并进行对齐。
    • Inter-Alignment of attention使用深层的attention map引导浅层的attention map，进行跨层蒸馏。

• 论文12:SpikeLM: Towards General Spike-Driven Language Modeling via Elastic Bi-Spiking Mechanisms

  • 由中科院自动化所等研究人员发表于ICML2024。
  • 提出了SpikeLM，全脉冲驱动的语言模型，能够进行辨别和生成任务。
  • 提出了elastic bi-spiking mechanism提升SNN模型的性能，具有Bi-directional spike encoding：三元脉冲、Elastic spike frequency encoding：根据输入分布编码脉冲频率来控制脉冲发射率、Elastic spike amplitude encoding：使用一个幅度α编码脉冲。
    • 逐层的spike frequency encoding：已有的脉冲编码（神经元产生脉冲的过程）仅依据膜电势和阈值来产生脉冲，不考虑输入的分布，很难维持合理的发射率。引入了distribution-aware frequency encoding，每个时间步长使用一个scaling factor $\alpha (t)$对膜电势的分布方差进行调节，方差越大脉冲发射率越高。定义$\alpha (t)$等于k倍的平均膜电势。在每次训练的第一个batch中决定$\alpha (t)$，后续的batch保持不变,k是可学习的参数。
    • 逐层的spike amplitude encoding：普通的脉冲产生过程忽视了膜电势强度信息，因此提出将膜电势的期望编码为脉冲的amplitude，产生的脉冲值为$\alpha (t)$、0、-$\alpha (t)$。推理期间$\alpha (t)$可以融入权重，不影响推理效率（相似于Real Spike）。
      

• 论文13:CLIF: Complementary Leaky Integrate-and-Fire Neuron for Spiking Neural Networks

  • 由港科大、北航等研究人员发表于ICML2024。
  • 指出：普通的LIF神经元存在时间维度的梯度消失问题，并且SNN的性能退化和这种梯度消失有关。
  • 提出了Complementary LIF神经元，引入了Complementary potential。
    

ECCV 2024

• 论文1:Integer-Valued Training and Spike-Driven Inference Spiking Neural Network for High-performance and Energy-efficient Object Detection
  • 由中科院自动化所研究人员（李国齐团队）发表于ECCV2024。
  • 提出了SpikeYOLO，简化了YOLO V8架构并且合并了meta SNN block。
  • 提出了Integer Leaky Integrate-and-Fire(I-LIF)，训练时候是整数计算，推理时脉冲驱动。
    • I-LIF:训练阶段产生整数值，推理阶段通过扩展时间步长来产生二元脉冲。
• 论文2:Spiking Wavelet Transformer
  • 由香港科技大学（广州）许人镜组发表于ECCV 2024。
  • 提出了Spiking Wavelet Transformer(SWformer)，时频分解方法融入SNN，因此能够有效地检测空间-频率模式。
  • 提出了Frequency-Aware Token Mixer (FATM)，通过三个分支同时学习空间、频率和通道表示，弥补了原始Transformer在捕捉高频视觉特征方面的不足，使模型在保留脉冲驱动计算优势的同时更好地识别图像。
• 论文3:Spike-Temporal Latent Representation for Energy-Efficient Event-to-Video Reconstruction
  • 由中山大学等研究人员发表于ECCV 2024。
• 论文4:FTBC: Forward Temporal Bias Correction for Optimizing ANN-SNN Conversion
  • 由澳门城市大学、穆罕默德·本·扎耶德人工智能大学等研究人员发表于ECCV 2024。
• 论文5:BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation
  • 由上海交通大学、华为等研究人员发表于ECCV 2024。
  • 指出：代理梯度和真实梯度间的差异会导致SNN性能退化，因此使用ANN进行蒸馏能够缓解这一点。
  • 此前的方法直接对ANN和SNN进行蒸馏，但是无法用于复杂的数据集和基于Transformer的模型，这应该是由于直接对离散的脉冲特征和连续的ANN特征进行蒸馏导致的。
  • 提出了blurred knowledge distillation (BKD)，将SNN学生的最后特征图进行mask（blur），然后使用额外的block（多层卷积）处理后和ANN教师的特征图进行蒸馏。
• 论文6:Efficient Training of Spiking Neural Networks with Multi-parallel Implicit Stream Architecture
  • 由西安交通大学、中国航天科工集团等研究人员发表于ECCV 2024。
  • 将SNN视为weight-tied block利用equilibrium model理论将SNN的前向过程视为solver for the equilibrium state。
  • 提出了multi-parallel implicit stream architecture (MPIS-SNNs)。

CVPR 2024

• 论文1:SpikingResformer: Bridging ResNet and Vision Transformer in Spiking Neural Networks
  • 由北京大学于肇飞组研究人员发表于CVPR2024。
  • 提出了Dual Spike Self-Attention (DSSA)和SpikingResformer。
• 论文2:SFOD: Spiking Fusion Object Detector
  • 由天津大学研究人员发表于CVPR2024。
• 论文3:Are Conventional SNNs Really Efficient? A Perspective from Network Quantization
  • 由中科院自动化所研究人员发表于CVPR2024。
  • 指出：在SNN中不同的比特分配不会显著改变硬件实现或复杂性。
  • 提出了Bit Budget概念，同时考虑到时间步长、权重比特宽度和脉冲比特宽度。
    
  • 基于Bit Budget提出了两个计算开销的评价指标：Synaptic Arithmetic Computation Effort (S-ACE)和Neuromorphic Synaptic Arithmetic Computation Effort (NSACE)。
  • 指出：对于静态图像，分配比特来增强脉冲模式，而不是仅增大时间步长能够产生更优越的性能。

ACM MM 2024

• 论文1:Towards Low-latency Event-based Visual Recognition with Hybrid Step-wise Distillation Spiking Neural Networks

  • 由北京大学黄铁军、于肇飞组研究人员发表于ACM MM2024。
  • 提出了Hybrid Step-wise Distillation (HSD)方法用于神经形态目标识别。
  • 先在$T_1$个时间步长上预训练一个ANN模型（每个frame产生一个输出，最后求平均），然后在额外的$T_2$个时间步长中使用预训练的ANN模型引导SNN模型进行识别。
  • 训练过程时间步长为$T_1+T_2$，推理时间步长为$T_2$。

• 论文2:Q-SNNs: Quantized Spiking Neural Networks

  • 由电子科技大学等研究人员发表于ACM MM2024。

• 论文3:RSNN: Recurrent Spiking Neural Networks for Dynamic Spatial-Temporal Information Processing

  • 由大连理工大学徐齐、浙江大学潘纲等研究人员发表于ACM MM2024。
  • 提出了RSNN模型，使用RNN提取事件数据的特征，使用SNN进行识别。

• 论文4:Towards High-performance Spiking Transformers from ANN to SNN Conversion

  • 由北京大学黄铁军、于肇飞组研究人员发表于ACM MM2024。
  • 由于Transformer(ViT)涉及到很多非线性的操作比如GELU、softmax、layernorm、矩阵乘法等，这很难直接用已有的对应CNN架构的转换方法进行转换。
  • 提出了Expectation Compensation Module将Transformer转换为SNN，在时间步长T使用之前T个时刻的信息计算当前时刻的输出期望。提出了Multi-Threshold Neuron以及Parallel Parameter normalization降低SNN的延迟和功耗。
  • Multi-Threshold Neuron包含有多个正负阈值，可产生多个输出。

• 论文5:RSC-SNN: Exploring the Trade-off Between Adversarial Robustness and Accuracy in Spiking Neural Networks via Randomized Smoothing Coding

  • 由重庆大学、中科院自动化所李国齐、徐波组等研究人员发表于ACM MM2024。
  • 理论上证明了SNN源自于泊松编码的对抗鲁棒性，并指出泊松编码和随机平滑在防御策略上的conceptual equivalence。
  • 发现泊松编码会影响SNN对干净样本的识别准确率，提出了Randomized Smoothing Coding (RSC)实现性能和对抗鲁棒性的权衡。
  • RSC：对SNN的输入样本添加噪声，并且将添加噪声后的值域限制为[0,1]。
  • 使用E-RSCT方法训练使用RSC编码的SNN：使用TET训练SNN，预训练的ANN对SNN进行蒸馏。

• 论文6:Reversing Structural Pattern Learning with Biologically Inspired Knowledge Distillation for Spiking Neural Networks

  • 由大连理工大学徐齐、浙江大学潘纲等研究人员发表于ACM MM2024。
  • 结合了知识蒸馏和模型剪枝。
    • sparse-KD：剪枝后的模型作为教师引导未剪枝的学生模型
    • teacher default-KD：手工定义软标签引导学生SNN模型

• 论文7:PSSD-Transformer: Powerful Sparse Spike-Driven Transformer for Image Semantic Segmentation

  • 由浙江大学等研究人员发表于ACM MM2024。
  • 提出了Powerful Sparse-Spike-Driven Transformer (PSSD-Transformer)，使用Pure Sparse Self Attention (PSSA)、Dynamic Spiking Membrane Shortcut (DSMS)、Spiking Precise Gradient downsampling (SPG down)以及Group-LIF神经元方法用于语义分割。

NeurIPS 2024（共21篇）

• 论文1:Spiking Neural Network as Adaptive Event Stream Slicer

  • 由香港科技大学（广州）许人镜组、东北大学、西北大学等研究人员发表于NeurIPS2024。
  • 提出了SpikeSlicer，使用SNN自适应产生脉冲作为对事件数据的划分时间。，根据对应时间划分后的事件数据可以转换为不同的表征用于下游任务。
  • 提出了Spiking Position-aware Loss，包括membrane potential-driven loss (Mem-Loss)、linear-assuming loss (LA-Loss),和dynamic hyperparameter tuning method促使脉冲神经元在指定的时刻产生脉冲。
  • 提出了Feedback-Update training strategy，根据SNN的脉冲时间提取2d+1个相邻时间输入至下游的ANN中获取反馈，再引导SNN的更新。

• 论文2:Advancing Training Efficiency of Deep Spiking Neural Networks through Rate-based Backpropagation

  • 由浙江大学研究人员发表于NeurIPS2024。
  • 提出了rate-based backpropagation，缓解BPTT过程中的训练内存、时间开销。

• 论文3:Spiking Graph Neural Network on Riemannian Manifolds

  • 由华北电力大学等研究人员发表于NeurIPS2024。

• 论文4:SpikedAttention: Training-Free and Fully Spike-Driven Transformer-to-SNN Conversion with Winner-Oriented Spike Shift for Softmax Operation

  • 由大邱庆北科学技术研究院（韩国）等研究人员发表于NeurIPS2024。
  • 提出了SpikedAttention，直接转换训练好的ANN Transformer为SNN。
  • 采用单脉冲相位编码，通过trace-driven matrix multiplication减少脉冲时间，以及exponent-free spike-based softmax实现转换。

• 论文5:SpGesture: Source-Free Domain-adaptive sEMG-based Gesture Recognition with Jaccard Attentive Spiking Neural Network

  • 由香港科技大学（广州）、大湾大学、中国科学院深圳先进技术研究院、香港科技大学等研究人员发表于NeurIPS2024。

• 论文6:Exact Gradients for Stochastic Spiking Neural Networks Driven by Rough Signals

  • 由哥本哈根大学、伦敦帝国理工学院等研究人员发表于NeurIPS2024。-- 理论工作
  • 引入了一个基于rough path theory的数学严谨的框架，将stochastic spiking neural networks (SSNNs)建模为具有事件不连续的stochastic differential equations with event discontinuities (Event SDEs)，并由càdlàg rough paths。

• 论文7:Neuronal Competition Groups with Supervised STDP for Spike-Based Classification

  • 由里尔大学研究人员发表于NeurIPS2024。

• 论文8:Rethinking the Membrane Dynamics and Optimization Objectives of Spiking Neural Networks

  • 由西南大学、浙江大学等研究人员发表于NeurIPS2024。
  • 指出:
    • ①脉冲神经网络的初始膜电势（initial membrane potential, IMP）会影响神经元的firing pattern；
    • ②通过调节IMP能够产生新的firing pattern；
    • ③静态任务上的SNN性对膜电势极为敏感；
    • ④TET loss在神经形态数据上比普通的SDT损失效果更好，但在静态数据上则更差。
  • 提出使用Learnable IMP，将膜电势初始化为期望值为0的随机值并且随训练可学习。
  • 为了提升TET在静态数据上的性能，仅对最后时间步长(last time step,LTS)的数据计算损失，将其视为最终输出。此时的TET和普通的SDT训练方法相同。
  • 提出了Label Smooth TET Loss用于神经形态数据，将TET中的正则化去除，而使用带有标签平滑的交叉熵损失。

• 论文9:EnOF-SNN: Training Accurate Spiking Neural Networks via Enhancing the Output Feature

  • 由中国航天科工集团公司智能科技研究院研究人员发表于NeurIPS2024。
  • 提出将SNN的输出特征输入至ANN的分类器产生输出并和ANN的原始特征进行蒸馏。
  • 提出将SNN分类器前的最后一个LIF神经元层替换为ReLU函数来提升特征的表达性。

• 论文10:Spike-based Neuromorphic Model for Sound Source Localization

  • 由电子科技大学、诺森比亚大学、北京大学等研究人员发表于NeurIPS2024。

• 论文11:Spiking Token Mixer: A event-driven friendly Former structure for spiking neural networks

  • 由电子科技大学、佐治亚理工学院等研究人员发表于NeurIPS2024。

• 论文12:Spiking Transformer with Experts Mixture

  • 由北京大学、鹏城实验室、南洋理工大学、中科院自动化所等研究人员发表于NeurIPS2024。
  • 集成SNN和MoE，提出了Spiking Experts Mixture Mechanism (SEMM)。
  • 提出了Experts Mixture Spiking Attention (EMSA)，将SSA的每一个head视为一个专家，利于SEMM进行混合。
  • 提出了Experts Mixture Spiking Perceptron(EMSP)，在MLP进行逐通道的SEMM，即将逐通道的MLP特征视为专家。

• 论文13:Continuous Spatiotemporal Events Decoupling through Spike-based Bayesian Computation

  • 由北京大学研究人员发表于NeurIPS2024。

• 论文14:Spatio-Temporal Interactive Learning for Efficient Image Reconstruction of Spiking Cameras

  • 由北京大学、西北工业大学等研究人员发表于NeurIPS2024。

• 论文15:Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks

  • 由中国航天科工集团公司智能科学技术研究院、北京大学等研究人员发表于NeurIPS2024。
  • 在训练期间添加多个shortcut分支计算损失，使用随epoch变化的平衡系数来变化多个分支的权重(早期侧重于浅层的梯度，后期侧重于最终的输出)。

• 论文16:Autonomous Driving with Spiking Neural Networks

  • 由加州大学圣克鲁斯分校、西北大学等研究人员发表于NeurIPS2024。
  • 提出了Spiking Autonomous Driving (SAD)，将SNN用于自动驾驶。第一阶段训练Perception部分，第二阶段训练Prediction模块，第三阶段训练Planing模块。
  • Perception：从多视角的相机输入中进行时空信息融合从而构建时空鸟瞰图(bird’s eye view, BEV)。其中encoder处理输入生成特征并进行深度估计，decoder进行BEV分割。
  • Prediction：使用两条通路分别建模过去和当前时刻的信息预测未来信息，随后进行decode生成各种interpretable intermediate representations。
  • Planing：基于bicycle model从大量的potential trajectories中选择最佳的轨迹，并使用Spiking Gated Recurrent Unit (SGRU)进一步修正。

• 论文17:Long-Range Feedback Spiking Network Captures Dynamic and Static Representations of the Visual Cortex under Movie Stimuli

  • 由北京大学、鹏城实验室等研究人员发表于NeurIPS2024。

• 论文18:FEEL-SNN: Robust Spiking Neural Networks with Frequency Encoding and Evolutionary Leak Factor

  • 由浙江大学研究人员发表于NeurIPS2024。
  • 基于生物机制，通过改进SNN的编码和膜电势leak值来提升鲁棒性，提出了robust SNN with Frequency Encoding and Evolutionary Leak factor (FEEL-SNN)。
  • frequency encoding (FE)：模拟生物系统中的selective visual attention mechanism，捕捉不同时间步长不同频率的信息。发现原始图像中的信息大多在低频区域，而噪声信号则多位于高频区域。因此提出移除输入图像在频域信息的噪声，移除范围从高频逐渐关注至到低频。
  • evolutionary membrane potential leak factor (EL)： 使用逐层、逐时间步长可训练的leak值。

• 论文19:Slack-Free Spiking Neural Network Formulation for Hypergraph Minimum Vertex Cover

  • 由阿德莱德大学、英特尔等研究人员发表于NeurIPS2024。

• 论文20:QKFormer: Hierarchical Spiking Transformer using Q-K Attention

  • 由鹏城实验室、哈尔滨工业大学、北京大学等研究人员发表于NeurIPS2024。
  • 提出了Q-K Attention（仅使用Query和Key）并构建了基于SNN的QKFormer。
  • Q-K Token Attention(QKTA):将Query矩阵在channel维度累加并经过脉冲神经元得到维度为[N*1]的逐token的值，和Key进行哈达玛乘积。最后经过线性层和脉冲神经元转换。
  • Q-K Channel Attention(QKCA): 将Query矩阵在token维度累加并经过脉冲神经元得到维度为[D*1]的逐channel的值，和Key进行哈达玛乘积。最后经过线性层和脉冲神经元转换。

• 论文21:Advancing Spiking Neural Networks for Sequential Modeling with Central Pattern Generators

  • 由复旦大学、微软亚研院等研究人员发表于NeurIPS2024 spotlight。

ICASSP 2024

• 论文1:Spiking-Leaf: A Learnable Auditory Front-End for Spiking Neural Networks

  • 由新加坡国立大学、香港理工大学、电子科技大学等研究人员发表于ICASSP2024。
  • 提出了面向SNN语音处理的可学习听觉前端Spiking-LEAF，结合了一个可学习的滤波器组与IHC-LIF神经元模型（双房室）。
  • IHC-LIF神经元的灵感来自于内毛细胞(IHC)结构，利用分离的树突状和体细胞房室来捕获语音信号的多尺度时间动态。除此之外，IHC-LIF神经元还结合了横向反馈机制和脉冲正则化损失来提高脉冲编码效率。

• 论文2:SVAD: A Robust, Low-Power, and Light-Weight Voice Activity Detection with Spiking Neural Networks

  • 由新加坡国立大学、天津大学、香港中文大学等研究人员发表于ICASSP2024。
  • 提出了基于SNN的sVAD用于Voice Activity Detection。其听觉编码器使用基于SNN的注意力机制。
  • 通过SincNet和1D卷积提供高效的听觉特征表示，并通过注意力机制提高噪声鲁棒性。分类器利用脉冲循环神经网络(sRNN)来挖掘时间语音信息。

• 论文3:Spiking Structured State Space Model for Monaural Speech Enhancement

  • 由清华大学和中国电子科技南湖研究院研究人员发表于ICASSP2024。
  • 提出了Spiking Structured State Space Model (Spiking-S4)用于语音增强。

• 论文4:Autost: Training-Free Neural Architecture Search For Spiking Transformers

  • 由北卡罗莱纳州立大学研究人员发表于ICASSP 2024。
  • 动机：大多数现有的用于ANN的training-free NAS方法依赖于反向传播过程中的梯度，但脉冲的不可微分特性阻碍了这些方法用于SNN中；使用activation pattern的方法在稀疏的脉冲中也会引入大量的误差。
  • 提出了AutoST，使用training-free NAS方法快速识别高性能的SNN Transformer架构，利用FLOPs作为模型的性能评价指标。
  • 基于Spikformer架构，将其中的embedding size、number of heads、MLP ratio和network depth作为四个关键变量并设置search space。

• 论文5:Probabilistic Spike Train Inference

  • 由得克萨斯农工大学研究人员发表于ICASSP 2024。
  • 提出了一种基于半非局部先验密度和点质量混合的贝叶斯方法，采用基于随机搜索的方法来report脉冲的最高后验概率排列。
  • 用来根据神经元的活动信息确定脉冲的准确时间。

• 论文6:Sparsespikformer: A Co-Design Framework for Token and Weight Pruning in Spiking Transformer

  • 由中山大学研究人员发表于ICASSP 2024。
  • 提出了稀疏的Spikformer网络。在Spikformer架构中的Spiking Patch Splitting (SPS)模块前引入了Spiking Token Select module，基于前面的脉冲发射率来选择最有信息价值的image token。
  • Spiking Token Select module：对于TNC的脉冲特征，在T维度进行全局平均池化然后使用两层全连接和Softmax函数得到N*2的输出，表示N个token是否需要被丢弃。在不同的block中使用哈达玛乘积对其进行迭代更新。
  • Weight Parameters Pruning：假设未产生脉冲的神经元连接可以通过剪枝方法去除来减少存储空间资源。基于Lottery Ticket Hypothesis (LTH)进行剪枝。

• 论文7:Training Ultra-Low-Latency Spiking Neural Networks from Scratch

  • 由南加州大学研究人员发表于ICASSP 2024.
  • 提出了一个从零开始的训练框架，用Hoyer正则化器训练超低时间步长的SNN。
  • 将每个BANN层的阈值计算为其激活图的剪切版本的Hoyer极值。通过使用Hoyer正则化器的梯度下降训练来确定裁剪值

• 论文8:Recent Advances in Scalable Energy-Efficient and Trustworthy Spiking Neural Networks: from Algorithms to Technology

  • 由英特尔实验室、加州大学圣克鲁斯分校、威斯康星大学麦迪逊分校、南加州大学等研究人员发表于ICASSP 2024。

本文出自于CSDN-lan人啊，转载请注明！