题目:
Hopfield
神经网络综述
一、概述:
1.
什么是人工神经网络(
Artificial Neural Network
,
ANN)
人工神经网络是一个并行和分布式的信息处理网络结构,
该网络结构一般由许多个神
经元组成,
每个神经元有一个单一的输出,
它可以连接到很多其他的神经元,
其输入有多个
连接通路,每个连接通路对应一个连接权系数。
人工神经网络系统是以工程技术手段来模拟人脑神经元(包括细胞体,树突,轴突)
网络的结构与特征的系统。
利用人工神经元可以构成各种不同拓扑结构的神经网络,
它是生
物神经网络的一种模拟和近似。
主要从两个方面进行模拟:
一是结构和实现机理;
二是从功
能上加以模拟。
根据神经网络的主要连接型式而言,
目前已有数十种不同的神经网络模型,
其中前馈
型网络和反馈型网络是两种典型的结构模型。
1
)反馈神经网络
(Recurrent Network)
反馈神经网络,又称自联想记忆网络,其目的是为了设计一个网络,储存一组平衡点,
使得当给网络一组初始值时,
网络通过自行运行而最终收敛到这个设计的平衡点上。
反馈神
经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。
反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点:
(
1
)
.
网络系统具有若干个稳定状态。
当网络从某一初始状态开始运动,
网络系统总可
以收敛到某一个稳定的平衡状态;
(
2
)
.
系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。
反馈网络是一种动态网络,
它需要工作一段时间才能达到稳定。
该网络主要用于联想
记忆和优化计算。
在这种网络中,
每个神经元同时将自身的输出信号作为输入信号反馈给其
他神经元,它需要工作一段时间才能达到稳定。
2.Hopfield
神经网络
Hopfield
网络是神经网络发展历史上的一个重要的里程碑。
由美国加州理工学院物理
学家
J.J.Hopfield
教授于
1982
年提出,是一种单层反馈神经网络。
Hopfield
神经网络是
反馈网络中最简单且应用广泛的模型,它具有联想记忆的功能。
Hopfield
神经网络模型是一种循环神经网络,从输出到输入有反馈连接。在输入的激
励下,会产生不断的状态变化。
反馈网络有稳定的,
也有不稳定的,
如何判别其稳定性也是需要确定的。
对于一个
Hopfield
网络来说,关键是在于确定它在稳定条件下的权系数。
下图中,第
0
层是输入,不是神经元;第二层是神经元。