神经科学中的数学27.1

Hopfield 网络

本文主要参考《神经科学中的数学》第27.1节，简单介绍Hopfiled网络及其应用：

• Hopfiled网络简介
• 吸引子分析
• 示例

---

简介

Hopfiled网络是一种反馈神经网络，常见的两种网络结构形式如图所示：

Hopfiled网络的神经元的状态有两种，$s_i \in \{-1,1\}$，结点的激活函数一般为符号函数，则从时刻$j$ 到时刻$j+1$ 的状态变化可表示为

$$s^{j+1}=Hop(Ws^j), Hop(x)= \begin{cases} 1&{x>0} \\ -1&{x\leq 0} \end{cases}$$
其中， $W \in R^{N*N}$ 是权重矩阵。当权重矩阵确定后，输入初始状态，信息在网络中反复传递。如果网络是收敛的，则最终网络的状态将会趋于稳定，实现稳定的输出。

吸引子

假设Hopfield网络训练之后，得到权重矩阵$W=pp^T$ ，则对任意一个状态$s$，有

$$Ws=pp^Ts=p(p^Ts)=(p^Ts)p$$
并且

$$Hop(Ws)= \begin{cases} p&{p^Ts>0} \\ -e&{p^Ts=0} \\ -p&{p^Ts<0} \end{cases}$$
其中， $e$是全为1的向量。由此可以看出，$p$和 $-p$都是定点，因为
$$Hop(Wp)=p,Hop(W(-p))=-p$$
这些定点就叫做吸引子，意味着Hopfiled网络从任意一个初始状态开始运行，最终都会稳定在这些定点中的一个。
将其推广到到多个训练模式，比如有 $p1$和 $p2$两个模式，则令
$$\begin{equation*} P=(p1 ,p2) \\ W=PP^T \end{equation*}$$
则得到结点的加权和为
$$Ws=PP^Ts=(s^Tp1)p1+(s^Tp2)p2$$
如果 $p1$和 $p2$是正交的， $p1^Tp2=0$，则 $\pm p1$和 $\pm p2$都是定点。如果两者不正交，则输入模式将会组合成虚定点。具体例子如下。

示例

如图，以二值图片作为训练好的模式保存在网络中。

每个字母图片的大小为67*71，分别展开为两个列向量，$P=(p1,p2)$。对源图像加入噪声，送入Hopfiled网络，发现该网络能够正确识别噪声图片中的字母。效果如下图所示。

源图片和代码见网站http://booksite.elsevier.com/9780123748829/pictures/code/networks/