ICLR 2024 | 脉冲神经网络的meta架构设计：启发下一代神经形态芯片设计-CSDN博客

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/136290108

本文介绍了Meta-SpikeFormer，一种基于脉冲神经网络的元架构，旨在缩小SNN与ANN的性能差距。通过在Transformer-based SNN中采用稀疏加法和新的脉冲卷积方法，该架构在ImageNet-1K上实现了80%的准确率，同时减少了17%的参数量。Meta-SpikeFormer的通用设计使其成为首个能处理分类、检测和分割任务的直接训练SNN，为神经形态芯片设计提供了新思路。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

©PaperWeekly 原创 · 作者 | 李国齐课题组

单位 | 中国科学院自动化研究所

研究方向 | 类脑计算

论文地址：

Spike-driven Transformer V2: Meta Spiking Neural Network Architecture Inspiring the Design of Next-generation Neuromorphic Chips

代码地址：

https://github.com/BICLab/Spike-Driven-Transformer-V2

背景

在神经形态芯片上运行脉冲神经网络（Spiking Neural Network，SNN）的神经形态计算，是类脑计算领域的主流发展方向。CNN-based SNN 是神经形态计算领域内的主流架构，几乎所有的神经形态芯片都支持这一架构。

最近，Transformer-based SNN 架构在 SNN 领域内兴起，并表现出了相当的竞争力，目前尚未有神经形态芯片专门针对这一新兴架构设计。此外，在性能方面，现有 spiking Transformer 架构仅能够与 state-of-the-art 的 spiking CNN 算法相持平，并未表现出明显的优势。

本文的目标是探索 SNN 的 meta 架构设计，以期在算法和硬件两个层面上推动 SNN 领域的发展。在算法层面，展示 spiking Transformer 架构相对于 spiking CNN 在任务性能和通用性方面的优势，缩小 SNN 和 ANN 之间的性能差距。

在硬件层面，spiking Transformer 的元架构设计有助于减少 Transformer-based SNN 神经形态芯片设计时所需要的算法探索成本，推动神经形态计算领域中下一代基于 spiking Transformer 的神经形态芯片的发展。

本文贡献

本文将 Spike-driven Transformer [1] 扩展成一种元 SNN 架构，命名为 "Meta-SpikeFormer". 本文的主要贡献包括：

SNN 架构设计。本文设计了一种仅包含稀疏加法的 meta Transformer-based SNN 架构，主要包括了宏观层面的 Conv-based 和 Transformer-base SNN 块设计，以及微观层面上的设计，包括几种新的脉冲卷积方法，脉冲形式 Q，K，V 矩阵的生成方法，以及三种具有不同计算复杂度的脉冲驱动自注意力（Spike-Driven Self-Atttention，SDSA）算子等。
性能。所提出的 Meta-SpikeFormer 使得 SNN 领域首次在 ImageNet-1K 上达到 80%，比当前的 state-of-the-art 基线 Spike-driven Transformer [1] 性能提升了 3.7%，但参数量减少了 17%。
通用性。Meta-SpikeFormer 是首个可以同时处理分类、检测、分割的直接训练 SNN 架构。Meta-SpikeFormer 在 ImageNet-1K，HAR-DVSÿ