ICCV 2023 | 首个用于目标检测任务的直接训练脉冲神经网络

©PaperWeekly 原创 · 作者 | 李国齐课题组

单位 | 中国科学院自动化研究所

研究方向 | 类脑计算

论文地址：

https://arxiv.org/abs/2307.11411

代码地址：

https://github.com/BICLab/EMS-YOLO

脉冲神经网络（Spiking neural networks，SNNs）是一种受到大脑启发且具有能耗高效性的神经网络模型，通过将信息编码在时空动力学中，实现高效计算和信号处理。迄今为止，基于直接训练的 SNN 在分类任务中展现出良好的性能，同时仅需很少的时间步。然而，如何设计一个直接训练的 SNN 来处理目标检测这样的回归任务仍然是一个具有挑战性的问题。

为了解决这个问题，我们提出了 EMS-YOLO，一个创新性的直接训练 SNN 的目标检测框架。与传统的 ANN-SNN 转换策略不同，我们首次尝试使用替代梯度来训练深度 SNN 进行目标检测任务。具体而言，我们设计了一个全脉冲的残差模块，EMS-ResNet，它能够有效地扩展直接训练 SNN 的深度，同时具有能耗高效性。

基于动态等距理论，我们证明了提出的模块可以避免梯度消失。实验结果表面，我们的方法仅需 4 个时间步就可以达到和同结构 ANN 网络相当性能，且节省了 5.83 × 的功耗。

背景

目标检测这一回归任务当前的解决方案，基本上都是基于 ANN 的框架。然而，ANN 虽然具有着高精度，但是带来了高计算复杂度和能耗。脉冲神经网络作为第三代神经网络，通过二值（0-1）脉冲信号来传递信息，可以减少信号传输和存储开销。另外，脉冲神经网络具有异步计算和事件驱动特性，且可以部署到神经形态芯片上，展示出强大的能耗高效性。然而，当前基于 SNN 的解决方案大都是转换 ANN 的方法，这需要几百上千的时间步 [1] 来模拟，且不适合于处理稀疏的