hopfield神经网络

初次接触hopfield神经网络，有一些约束没有注意，导致生出很多愚蠢的想法。

一、hopfield神经网络其实没有层的概念，所有的神经元全连接就形成了一个hopdield神经网络的基本结构。

既然是全连接，那么谁先谁后、谁左谁右就没有意义了，反正都是互联的。

二、hopfield神经网络既然没有层的概念，那么神经网络的输入、输出是什么？我从哪里去获得输出呢？

hopfield神经网络的输入是神经元的初始状态，输出是神经网络的稳定状态。我们给神经元初始状态，神经元的状态就会不停地变化下去，到最后稳定下来。这个稳定的状态就是输出。

三、神经元的状态如何变化呢？

（一）同步更新

所有的神经元按照时间的顺序，一起更新状态。

（二）异步更新

每一个时刻更新一个神经元，神经元可以是随机的，也可以是按照预先确定的顺序。

四、hopfield神经网络一定会变化到一个稳定状态吗？

分多钟情况讨论：

（一）离散情况下（DHNN）

定义能量函数E，定义神经元的状态只有｛-1，1｝两种。

（1）可以证明，连接权值矩阵W为对称矩阵，按照异步方式调整网络状态，当能量函数收敛于一个固定值时，网络稳定。这种稳态即神经网络收敛的一种状态，用此时的神经网络的每个神经元的状态构成一个状态向量，叫做吸引子。

（2）可以证明，连接权值矩阵W为非负定对称矩阵，按照同步方式调整网络状态，当能量函数收敛于一个固定值时，网络稳定。

（二）连续情况

神经网络随着时间连续更新，这个可以用模拟电路来实现。不在我们讨论的方位内。

五、如何设计一个hopfield神经网络

网络的设计其实就是权值矩阵的确定。

两种方法：

（一）联立方程组法。

根据对称性要求，吸引子的定义（吸引子是设计网络前就应该定好的），可以得到一个不等式组。解这个不等式组可以得到W的取值范围。在范围内的权值都可以。

（二）外积和法

有P个正交样本，神经元个数n，n>P，W=sum（dot（Xi，（Xi）.T））,(i=[1,2,...,P])

上述两种方法可以保证我们要求的状态是吸引子，但是还可能存在其他的状态也是吸引子。这是hopfield神经网络的固有缺陷。