脉冲神经网络_脉冲神经网络详解（SNN）

“强基固本，行稳致远”，科学研究离不开理论基础，人工智能学科更是需要数学、物理、神经科学等基础学科提供有力支撑，为了紧扣时代脉搏，我们推出“强基固本”专栏，讲解AI领域的基础知识，为你的科研学习提供助力，夯实理论基础，提升原始创新能力，敬请关注。

作者： 初识CV

地址：https://www.zhihu.com/people/AI_team-WSF

本文大部分内容来自：脉冲神经网络的五脏六腑，做一下笔记对原始文章增添一下自己的理解。

https://blog.csdn.net/u011853479/article/details/61414913

第一代神经网络：感知机，第二代神经网络：ANN，第三代神经网络：脉冲神经网络。由于DCNN采用基于速率的编码，所以其硬件实现需要消耗更多的‘能量’。SNN中每个神经元最多使用一个脉冲，而大多数神经元根本不放电，导致能量消耗最小。

Spike-YOLO：SNN在目标检测上的首次尝试：

https://zhuanlan.zhihu.com/p/159982953

SNN的构建过程

构建脉冲神经元模型(建模)——构建神经脉冲序列(编码)——脉冲神经网络的训练方法 简化过程：建模——编码——训练(学习规则、转换等)

学习规则

简单介绍无监督的STDP和有监督的R-STDP 无监督的STDP(特征要多)：利用STDP网络可以成功地提取频繁出现的视觉特征。但是需要额外的分类器，例如：SVM等。 有监督的R-STDP(特征少也可以)：提取对任务有诊断作用的特征，然后丢弃其他特征。网络可以只根据最后一层中最早的峰值来决定对象的类别，而不使用任何外部分类器，使用R-STDP训练的神经决策层。 特征图数量较少时，R-STDP在寻找诊断特征(丢弃干扰物)方面明显优于STDP。R-STDP在提高性能和置信水平方面表现出单调的行为，但在置信水平上，R-STDP不如R-STDP稳健。

ANN向SNN转换

采用近似转换的方式，Reset to zero( 适用于浅层网络)和Reset by subtraction( 适用于深层网络)两种转换方式，脉冲发射率   和ANN的激活值   成比例

https://blog.csdn.net/h__ang/article/details/90609793

01

构建脉冲神经元模型

传统的人工神经元模型主要包含两个功能， 一是对前一层神经元传递的信号计算加权和，二是采用一个非线性激活函数输出信号。 前者用于模仿生物神经元之间传递信息的方式，后者用来提高神经网络的非线性计算能力。相比于人工神经元，脉冲神经元则从神经科学的角度出发，对真实的生物神经元进行建模。 SNN所构成的深度网络是一种高效节能的神经网络，每幅图像只有几个峰值作为特征，这使得它适合于神经形态硬件的实现。(虽然现在SDNN只能在小的数据集上面进行测试，而且识别精度不如DCNN，但是相信不久的将来SDNN会是一个发展很好的方向)。

1.1 Hodgkin-Huxley( HH)模型

HH模型的数学公式推导和MATLAB代码： https://zhuanlan.zhihu.com/p/102770891 HH模型是一组描述神经元细胞膜的电生理现象的非线性微分方程，直接反映了细胞膜上离子通道的开闭情况。 HH模型所对应的电路图如图1-2所示，其中 C 代表脂质双层(lipid bilayer) 的电容；RNa, RK, Rl分别代表钠离子通道、 钾离子通道与漏电通道的电阻(RNa, RK 上的斜箭头表明其为随时间变化的变量， 而 R l 则为一个常数)；E l, E Na, E K 分别代表由于膜内外电离子浓度差别所导致的漏电平衡电压、钠离子平衡电压、钾离子平衡电压；膜电压V代表神经膜内外的电压差，可以通过HH模型的仿真来得到V随时间变化的曲线。

图1-1

神经元的膜电压变化，图1-2

图1-2中共有6个输入脉冲(垂直虚线所示)，每个脉冲触发膜电压V的快速上升。如果输入脉冲之间的时间间隔较长(例如在1ms与22ms到达的2个脉冲之间，由于漏电通道的作用，没有新的输入脉冲)，膜电压V就会随着时间逐渐降低至平衡电压El。如果有多个输入脉冲在短时间内连续到达(例如在45~50ms 之间的3 个脉冲)，那么膜电压V会上升至发放阈值Vth(红色水平虚线所示) 而触发一个输出脉冲。之后V被重置为低于平衡电压El的Vreset，然后逐渐回升至平衡电压El。神经元的行为与输入的时间特性密切相关，一组脉冲如果在短时间内连续到达，可以触发神经元的脉冲；但是同样数量的一组脉冲如果在较长时间内分散到达，那么膜电压的漏电效应便不会产生脉冲。 HH模型精确地描绘出膜电压的生物特性，能够很好地与生物神经元的电生理实验结果相吻合，但是运算量较高，难以实现大规模神经网络的实时仿真。

1.2 Leaky Integrate and Fire(LIF)模型

为了解决HH模型运算量的问题，许多学者提出了一系列的简化模型。LIF模型将细胞膜的电特性看成电阻和电容的组合。 简单介绍：

https: