Hopfield神经网络概述

HopfieId网络是J.J.Hopfield在20世纪80年代提出来的。他指出，如果神经网络的突触联系一是有效对称的，那么系统必将演化到个固定的有序状态。于是他引入能量函数的概念，表明如果突触联系是对称的，则网络的动态演化过程将达到能量最小的稳定状态。 利用这一特一性，Hopfield网络可完成些诸如最优化和联想记忆的功能。

HopfieId网络分为离散型和连续型两种，都是对称互连网络（$W_{ij}=W_{ji}$）根据节点状态的取值来划分是离散型的还是连续型。离散网络节点取｛－1, +1｝或｛0, +1｝，连续网络节点状态在某个随机区间内连续取值。

神经元网络主要有两种运行方式

1. 一种是学习运行方式，即通过学习调整连接权的值来达到模式记忆与识别的目的。
2. 另一种就是即将要介绍的Hopfield网络所采用的运行方式：
   在Hopfield网络中，各连接权的值主要是设计出来的，而不是通过网络运行而学到的，网络的学习过程只能对它进行微小的调整，所以连接权的值在网络运行过程中是基本固定的，网络的运行只是通过按一定的规则计算与更新网络的状态，以求达到网络的一种稳定状态，如果将这种稳定状态设计在网络能量函数极小值的点上，那么，就可以用这种网络来记忆一些需要记忆的模式或得到某些问题的最优解。

Hopfield网络运行规则主要有以下几步：
① 从网络中随机选出一个神经元 i;
② 求出神经元 i 的所有输入的加权总和：
③ 计算神经元 i 在第 t+1 时刻的输出值， 即 $U_i(t+1)$;
④ $U_i$ 以外的其他所有输出值保持不变，
$$\begin{array}{rl}& U_j(t+1)=U_j(t)\\ & j=1,2,3,...,nj\ne i\end{array}$$

⑤ 返回到第一步， 直至网络进入稳定状态。

按以上运行规则， 在满足以下两个条件时， Hopfield学习算法总是收敛的。
a. 网络的连接权矩阵无自连接并且具有对称性：
$$\begin{array}{rl}& W_{ii}=0i=1,2,...,n\\ & W_{ij}=W_{ji}i,j=1,2,...,n\end{array}$$

b. 网络中各神经元以非同步或串行方式， 根据运行规则改变其状态： 当某个神经元改变状态时， 其他所有神经元保持原状态不变。

Hopfield网络是一种具有反馈性质的网络， 而反馈网络的一个个主要特点就是它应具有稳定状态。当网络结构满足上面所指出的两个条件时， 按上述工作运行规则反复更新状态， 当达到一定程度后， 各输出不再变化， 网络达到稳定状态， 即 $U_i(t+1)=U_i(t)=sgn(H_i)$。 在实际应用中必须运行许多次才能达到稳定状态。 网络运行达到稳定状态的速度， 以及网络的稳定程度主要取决于网络的 “能量函数 ” 。