离散Hopfield神经网络

Hopfield网络作为一种全连接型的神经网络，曾经为人工神经网络的发展开辟了新的研究途径。它利用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。之以网络及学习算法最初有美国物理学家Hopfield于1982年首先提出。

Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和-1，所以，也称离散Hopfield神经网络（DHNN，Discrete Hopfield Neural Network）。在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和-1分别表示神经元处于激活和抑制状态。

网络结构
DHNN是一种单层、输出为二值的反馈网络。假设有一个由三个神经元组成的离散Hopfield神经网络，其结构如图所示：

在图中，第0层仅仅作为网络的输入，它不是实际神经元，所以无计算功能；第一层是神经元，故而执行对输入信息与权系数的乘积求累加和，并经非线性函数f处理后产生输出信息。f是一个简单的阈值函数，如果神经元的输出信息大于阈值$\sit$，那么，神经元的输出取值为1；小于阈值，则神经元的输出为-1。

对于二值神经元，它的计算公式如下：

$$u_j=\sum_i \omega_{ij}y_i+x_j$$
式中， $x_i$为外部输入。并且有：
$$\begin{cases} y_i=1 & u_j \ge \theta_j \\ y_i=-1 & u_j<\theta_j \end{cases}$$
一个DHNN的网络状态是输出神经元信息的集合，对于一个输出层是n的神经元网络，其t时刻的状态为一个n为向量：
$$Y(t)=[y_1(t),y_2(t),...,y_n(t)]^T$$
因为 $y_i(t)（i=1,2,...,n）$可以取值为1或-1，故n维向量 $Y(t)$有 $2^n$种状态，即网络有 $2^n$中状态。考虑到DHNN的一般节点状态，用 $y_j(t)$表示第j个神经元，及节点j在时刻t的状态，则节点的嘻嘻啊一个时刻（t+1）的状态可以求得：
$$y_i(t+1)=f[u_j(t)]= \begin{cases} 1 & u_j(t) \ge 0 \\ -1 & u_j(t)<0 \end{cases}$$
$$u_j(t)=\sum_i^n \omega_{ij}y_i(t)+x_j-\theta_j$$
如果 $\omega_{ij}$在 $i=j$是等于0，说明一个神经元的输出并不会反馈到其输入，这时，DHNN为 无自反馈的网络。如果 $\omega_{ij}$在 $i=j$是不等于0，说明一个神经元的输出会反馈到其输入端，这时DHNN称为 自反馈网络。