脉冲神经网络训练的波动驱动初始化

转载翻译自: https://iopscience.iop.org/article/10.1088/2634-4386/ac97bb
论文标题： Fluctuation-driven initialization for spiking neural network training

论文翻译

摘要

  脉冲神经网络 (SNN) 是大脑中低功耗、容错信息处理的基础，当在合适的神经形态硬件加速器上实现时，它可以成为传统深度神经网络的节能替代方案。然而，实例化解决复杂计算任务的 SNN仍然是一项重大挑战。替代梯度 (SG) 技术已成为端到端训练 SNN 的标准解决方案。尽管如此，它们的成功取决于突触权重初始化，类似于传统的人工神经网络 (ANN)。然而，与 ANN 的情况不同，SNN 的良好初始状态仍然难以捉摸。在这里，我们开发了一种通用的 SNN 初始化策略，其灵感来自大脑中常见的波动驱动机制。具体而言，我们推导出数据相关权重初始化的实用解决方案，以确保广泛使用的泄漏积分和激发神经元中波动驱动的激发。我们通过经验表明，按照我们的策略初始化的 SNN 在使用 SG 训练时表现出卓越的学习性能。这些发现适用于多个数据集和 SNN 架构，包括完全连接、深度卷积、循环和符合戴尔定律的更具生物学合理性的 SNN。因此，波动驱动的初始化提供了一种实用、通用且易于实施的策略，用于提高神经形态工程和计算神经科学中各种任务的 SNN 训练性能。

简介

  脉冲神经元通过离散动作电位或脉冲进行通信，从而使神经生物学和神经形态系统中的信息处理节能可靠 [ 1,2 ] 。在将脉冲神经网络 ( SNN ) 用于任何应用之前，需要针对任务优化其连接。在传统的人工神经网络 (ANN) 中，此步骤是通过使用反向传播结合合适的参数初始化的直接端到端优化来实现的 [ 3 ]。然而，由于缺乏神经元脉冲动力学的平滑导数，因此无法在 SNN 中使用基于梯度的优化。一种越来越常见的克服此问题的方法是替代梯度 (SG) 学习 [ 4-6 ] ，它依赖于实际梯度的连续松弛来更新参数。虽然 SG 是构建功能性 SNN 模型的强大工具，但不良的初始参数选择可能会对它们产生不利影响。在深度ANN 中，次优权重初始化可能导致梯度消失或爆炸 [ 7-9 ]，从而对其使用造成重大障碍。最佳权重初始化 [ 10 – 12 ] 与合适的架构选择（例如跳过连接 [ 11 , 13 ]）相结合，在很大程度上避免了 ANN 中的这一问题。同样，也有人认为梯度消失问题会影响深度 SNN [ 14 , 15 ]。然而，我们仍然缺乏 SNN 初始化的原则性策略。

  在这里，我们通过引入一种实用的 SNN 权重初始化策略来弥补这一差距。具体来说，我们从神经生物学中汲取灵感，神经生物学中神经元动力学通常表现出波动驱动的激发 [ 16,17 ]。由于波动驱动状态下的神经元对输入的微小变化更敏感 [ 18 ]，因此也对其突触权重的变化更敏感，我们假设这种状态可能有利于后续的 SG 学习。接下来，我们将为由积分激发 (LIF) 神经元组成的 SNN 开发一种通用但简单的初始化理论，并通过经验证明其使用 SG 技术对 SNN 进行任务优化的有效性。

阅读原文

原文地址：https://iopscience.iop.org/article/10.1088/2634-4386/ac97bb

【转载翻译自】https://iopscience.iop.org/article/10.1088/2634-4386/ac97bb   
【声明】：
    转载此文是出于传递更多信息之目的。
    若有来源标注错误或侵犯了您的合法权益，请评论留言与本站联系，我们将及时更正、删除，谢谢。

---

获取更多计算机知识以及AI资讯，请访问网站：开思通智网
官网地址：https://www.opensnn.com/
“一起来O站，玩转AGI！”