使用常规深度神经网络到脉冲神经网络转换方法应用于脉冲神经网络域时,性能下降的很多,深入分析后提出了可能的解释:一是来自逐层归一化的效率低,二是用于leaky-ReLU函数的负激活缺乏表示。
在过去的十年中,深度神经网络(DNNs)在各种应用中表现出显著的性能。当我们试图解决更艰难和最新的问题时,对计算和电力资源的需求增加已经成为不可避免的。
Spiking neural networks(SNNs)作为第三代神经网络,由于其事件驱动(event-driven)和低功率特性,引起了广泛的兴趣。
然而,SNN很难训练,主要是因为它们的神经元复杂的动力学和不可微的尖峰操作。此外,它们的应用仅限于相对简单的任务,如图像分类。
在今天的分享中,作者研究了SNN在一个更具挑战性的回归问题(即对象检测)。通过深入分析,引入了两种新的方法:channel-wise normalization和signed neuron with imbalanced threshold,这两种方法都为深度SNN提供了快速的信息传输。因此,提出了第一个基于尖峰的目标检测模型,称为Spiking-YOLO。
尽管SNN有很多好处,但目前仅能处理相对简单的任务,由于神经元复杂的动态性以及不可导的操作,暂时没有一个可扩展的训练方法。DNN-to-SNN是近期广泛的SNN训练方法,该方法将目标DNN转化成SNN的中间DNN网络进行训练,然后转成SNN并复用其训练的参数,在小数据集分类上能达到不错的性能,但是在大数据集上分类结果不太理想
论文打算使用DNN-to-SNN转化方法将SNN应用到更复杂的目标检测领域中,图片分类只需要选择分类就好,而目标检测则需要神经网络进行高度准确的数字预测,难很多。在深入分析后,论文实现YOLO的转换主要面临以下两个问题:
-
常用的SNN归一化方法过于低效,导