各种神经网络的应用领域,脉冲神经网络发展前景

脉冲神经网络的简介

脉冲神经网络 （SNN-Spiking Neuron Networks) 经常被誉为第三代人工神经网络。第一代神经网络是感知器，它是一个简单的神经元模型并且只能处理二进制数据。

第二代神经网络包括比较广泛，包括应用较多的BP神经网络。但是从本质来讲，这些神经网络都是基于神经脉冲的频率进行编码( rate coded）。

脉冲神经网络，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑其中。

思路是这样的，动态神经网络中的神经元不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的膜电位达到某一个特定值才被激活。

当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。

在脉冲神经网络中，神经元的当前激活水平（被建模成某种微分方程）通常被认为是当前状态，一个输入脉冲会使当前这个值升高，持续一段时间，然后逐渐衰退。

出现了很多编码方式把这些输出脉冲序列解释为一个实际的数字，这些编码方式会同时考虑到脉冲频率和脉冲间隔时间。借助于神经科学的研究，人们可以精确的建立基于脉冲产生时间神经网络模型。

这种新型的神经网络采用脉冲编码(spike coding)，通过获得脉冲发生的精确时间，这种新型的神经网络可以进行获得更多的信息和更强的计算能力。

谷歌人工智能写作项目：神经网络伪原创

脉冲神经网络的历史

Alan Lloyd Hodgkin和Andrew Huxley在1952年提出了第一个脉冲神经网络模型，这个模型描述了动作电位是怎样产生并传播的好文案。

但是，脉冲并不是在神经元之间直接传播的，它需要在突触间隙间交换一种叫“神经递质”的化学物质。这种生物体的复杂性和可变性导致了许多不同的神经元模型。

从信息论的观点来看，找到一种可以解释脉冲，也就是动作电位的模型是个问题。所以，神经科学的一个基本问题就是确定神经元是否通过时间编码来交流。时间编码表明单一的神经元可以取代上百个S型隐藏层节点。

脉冲耦合神经网络被称为第三代神经网络，那么第一代和第二代分别是什么？

什么是像素点火

这是一个很专业的东西哦 看完下面的东西 可能你会会有一定了解脉冲耦合神经网络模型(Pulse Coupled Neural Networks, PCNN)是一种不同于传统人工神经网络的新型神经网络,有着生物学的背景,是依据猫、猴等动物的大脑视觉皮层上同步脉冲振荡现象提出的[1]。

PCNN可广泛地应用于图像处理、图像识别、运动目标识别、通信、决策优化等各方面[2-4]。本文首先引入PCNN的基本模型,并对其特性进行了分析归纳。

由于PCNN在图像处理中所特有的优势,在此综述了它在图像处理中的应用及所做的部分工作,最后展望了它的应用前景。

1 PCNN的基本模型1990年Eckhorn根据猫的大脑视觉皮层同步脉冲发放现象,提出了展示脉冲发放现象的连接模型。对Eckhorn提出的模型进行了一些修改,得到了PCNN模型[5]。

构成PCNN的单个神经元由树突、非线性连接调制、脉冲产生三部分构成,如图1所示。树突部分即接收部分用来接收来自其他神经元与外部的输入。

一般来说,来自其他神经元的输入是脉冲;来自外部的输入除了脉冲外,还可能包括模拟时变信号或常量信号。

接收域将接收到的输入通过两条通道进行传输,一个通道称为F通道,用于接收包含外部输入信号的馈送输入(Feeding Inputs),其运算关系为:��F�ij(k)=e�-α�FF�ij(k)+S�ij+V�F\M�Y(k)\〗�ij(1)另一个则用于接收来自其他神经元的连接输入(Linking Inputs),其运算关系为:��L�ij(k)=e�-α�LL�ij(k)+V�L\W�Y(k)\〗�ij(2)��式(1)、式(2)中:�M和W是内部连接矩阵(一般M=W);Y(k)为神经元点火与否的信息;α�F和α�L分别为F�ij(k),L�ij(k)的衰减时间常量;V�L和V�F为连接和馈入常量;S�ij为第(i,j)个神经元接受的外部刺激(这里为图像像素构成的矩阵中第(i,j)个像素的灰度值)。

在连调制部分馈送输入F�ij和连接输入L�ij,再经过调制后产生第(i,j)�个神经元的内部活动项,其运算关系为:��U�ij(k)=F�ij(k)\(3)��式中:�U�ij为神经元的内活动,�为连接调制常量。

利用连接输入对馈送输入进行调制是PCNN神经元之间进行通信的关键。神经元的脉冲生成器根据内部活动项�U�ij的一个阶跃函数产生二值输出,并根据第(i,j)个神经元点火与否的状态自动调整阈值大小。

在时间k,如果内部活动项U�ij比阈值函数θ�ij大,Y�ij取值为1,称第(i,j)个神经元点火;否则Y�ij取值为0,称第(i,j)个神经元未点火。

如果第(i,j)个神经元点火,则根据V�θ�对阈值函数按照下面两式进行调整:��θ�ij(k)=e�-α�θθ�ij(k-1)+V�θY�ij(k-1)(4)Y�ij(k)=step(U�ij-θ�ij)=1,U�ij(k)>θ�ij(k)0,otherwise(5)��式中:α�θ为时间衰减常量;V�θ为阈值常量。

图1 标准PCNN神经元模型2 PCNN的特性与传统的反馈型神经网络相比,脉冲耦合神经网络从神经元本身的构成上就具有鲜明的特色,即变阈值、内部行为的乘积耦合、分支树的漏电容积分加权求和等,从而使得PCNN具备以下的特性:(1) 动态脉冲发放特性。

PCNN动态神经元的变阈值特性是其动态脉冲发放的根源,如果将有输入信号与突触通道脉冲相应函数的乘积所产生的信号设为该神经元的(内部)作用信号,则当作用信号超过阈值时,该神经元被激活而产生高电平输出,又由于阈值受神经元输出的控制,导致该神经元输出的高电平又反过来提升阈值,从而使作用信号变得低于阈值,神经元又立即恢复为原来的抑制状态。

这一过程在神经元输出端明显地形成了一个脉冲发放,也称为神经元的点火,其中变阈值特性导致神经元被抑制或激活,而硬限幅函数则实现神经元输出端脉冲的产生,它们相互作用的结果是使神经元输出发放脉冲,而发放脉冲的频率和相位则与神经元输入有关,故神经元输出可视为是对输入信号进行某种频率调制或相位调制,从而携带