神经网络系列讲解之离散型Hopfield网络

Hopfield网络及学习算法最初是由美国物理学家J.J Hopfield于1982年首先提出的，曾经为人工神经网络的发展进程开辟了新的研究途径。它利用与阶层型神经网络不同的结构特征和学习方法，模拟生物神经网络的记忆机理，获得了令人满意的结果。
      Hopf ield最早提出的网络是二值神经网络，神经元的输出只取1和0，所以，也称离散Hopfield神经网络（Discrete Hopfield Neural Network，DHNN）。在离散Hopfield网络中，所采用的神经元是二值神经元，因此，所输出的离散值1和0分别表示神经元处于激活和抑制状 态。
      离散型Hopfield神经网络的结构如下图所示。

      从DHNN的结构可以看出：它是一种多输入、含有阈值的二值非线性动态系统。在动态系统中，平衡稳定状态可以理解为系统某种形式的能量函数在系统运动过程 中，其能量值不断减小，最后处于最小值。Coben和Grossberg在1983年给出了关于Hopfield网络稳定的充分条件，他们指出：如果 Hopfield网络的权系数矩阵是一个对称矩阵，并且对角线元素为0，则这个网络是稳定的。应该指出，这只是Hopfield网络稳定的充分条件，而不 是必要条件。在实际中有很多稳定的Hopfield网络，但是它们并不满足权系数矩阵 是对称矩阵这一条件。

第二部分 工具箱讲解

Hopfield神经网络工具箱主要包括newhop和sim函数。

1 newhop
函数功能：创建一个离散型Hopfield网络。

调用格式：net=newhop(T);

T：具有Q个目标向量的R*Q矩阵（元素必须为-1或1）；

net：生成的神经网络，具有在T中的向量上稳定的点。

2 sim
函数功能：对训练好的神经网络进行仿真。

调用格式：[Y,Af,E,perf] = sim(net,P,Ai,T)
                        [Y,Af,E,perf] = sim(net,{Q TS},Ai,T)

P，Q：测试向量的个数；
Ai：初始的层延时，默认为0；
T：测试向量；
TS：测试的步数；
Y：网络的输出矢量；
Af：训练终止时的层延迟状态；
E：误差矢量；
perf：网络的性能。

说明：函数中用到的参数采取了两种不同的形式进行表示：矩阵和元胞数组。矩阵的形式只用于仿真的时间步长TS=1的场合，元胞数组形式常用于一些没有输入信号的神经网络。

第三部分 程序示范

1. % ------------------------------number array---------------------------------
   
2. one=[-1 -1 -1 -1 -1 -1 -1 -1 -1 -1;...
   
3.      -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;...
   
4.      -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;...
   
5.      -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;...
   
6.      -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;...
   
7.      -1 -1 -1 -1 1 1 -1 -1 -1 -1;-1 -1 -1 -1 1 1 -1 -1 -1 -1;...
   
8.      -1 -1 -1 -1 -1 -1 -1 -1 -1 -1];
   
9. two=[-1 -1 -1 -1 -1 -1 -1 -1 -1 -1;...
   
10.      -1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;...
    
11.      -1 -1 -1 -1 -1 -1 -1 1 1 -1;-1 -1 -1 -1 -1 -1 -1 1 1 -1;...
    
12.      -1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;...
    
13.      -1 1 1 -1 -1 -1 -1 -1 -1 -1;-1 1 1 -1 -1 -1 -1 -1 -1 -1;...
    
14.      -1 1 1 1 1 1 1 1 1 -1;-1 1 1 1 1 1 1 1 1 -1;...
    
15.      -1 -1 -1 -1 -1 -1 -1 -1 -1 -1];
    
16. %  --------------------------plot standard number figure--------------
    
17. subplot(2,3,1)
    
18. imshow(imresize(one,20))
    
19. title('standard number')
    
20. 
    
21. subplot(2,3,4)
    
22. imshow(imresize(two,20))
    
23. title('standard number')
    
24. % ---------------------------creat hopfield net---------------------
    
25. T=[one;two]';
    
26. net=newhop(T);
    
27. % --------------------------generate rand noise------------------
    
28. for i=2:11
    
29.     for j=2:9
    
30.         a=rand;
    
31.         if a<=0.1
    
32.            one(i,j)=-one(i,j);
    
33.            two(i,j)=-two(i,j);
    
34.         end
    
35.     end
    
36. end
    
37. noise_one=one
    
38. noise_two=two
    
39. % -------------------------plot noise figure----------------------------
    
40. subplot(2,3,2)
    
41. imshow(imresize(noise_one,20))
    
42. title('noise number')
    
43. 
    
44. subplot(2,3,5)
    
45. imshow(imresize(noise_two,20))
    
46. title('noise number')
    
47. % ------------------------plot identify figure---------------------------
    
48. noise1={(noise_one)'};
    
49. tu1=sim(net,{12,3},{},noise1);
    
50. tu1{3}'
    
51. subplot(2,3,3)
    
52. imshow(imresize(tu1{3}',20))
    
53. title('identify number')
    
54. 
    
55. noise2={(noise_two)'};
    
56. tu2=sim(net,{12,3},{},noise2);
    
57. tu2{3}'
    
58. subplot(2,3,6)
    
59. imshow(imresize(tu2{3}',20))
    
60. title('identify number')