神经网络模型的基本原理,如何建立神经网络模型

什么叫神经网络模型?

谷歌人工智能写作项目：神经网络伪原创

神经网络Hopfield模型

一、Hopfield模型概述1982年，美国加州工学院J.Hopfield发表一篇对人工神经网络研究颇有影响的论文文案狗。他提出了一种具有相互连接的反馈型人工神经网络模型——Hopfield人工神经网络。

Hopfield人工神经网络是一种反馈网络(Recurrent Network)，又称自联想记忆网络。

其目的是为了设计一个网络，存储一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到所存储的某个平衡点上。

Hopfield网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型Hopfield网络(Discrete Hopfield Neural Network，简称 DHNN)和连续型 Hopfield 网络(Continue Hopfield Neural Network，简称CHNN)。

离散型Hopfield网络的激活函数为二值型阶跃函数，主要用于联想记忆、模式分类、模式识别。这个软件为离散型Hopfield网络的设计、应用。

二、Hopfield模型原理离散型Hopfield网络的设计目的是使任意输入矢量经过网络循环最终收敛到网络所记忆的某个样本上。

正交化的权值设计这一方法的基本思想和出发点是为了满足下面4个要求：1)保证系统在异步工作时的稳定性，即它的权值是对称的，满足wij=wji，i，j=1，2…，N；2)保证所有要求记忆的稳定平衡点都能收敛到自己；3)使伪稳定点的数目尽可能地少；4)使稳定点的吸引力尽可能地大。

正交化权值的计算公式推导如下：1)已知有P个需要存储的稳定平衡点x1，x2…，xP-1，xP，xp∈RN，计算N×(P-1)阶矩阵A∈RN×(P-1)：A=(x1-xPx2-xP…xP-1-xP)T。

2)对A做奇异值分解A=USVT，U=(u1u2…uN)，V=(υ1υ2…υP-1)，中国矿产资源评价新技术与评价新模型Σ=diαg(λ1，λ2，…，λK)，O为零矩阵。

K维空间为N维空间的子空间，它由K个独立的基组成：K=rαnk(A)，设{u1u2…uK}为A的正交基，而{uK+1uK+2…uN}为N维空间的补充正交基。下面利用U矩阵来设计权值。

3)构造中国矿产资源评价新技术与评价新模型总的连接权矩阵为：Wt=Wp-T·Wm，其中，T为大于-1的参数，缺省值为10。

Wp和Wm均满足对称条件，即(wp)ij=(wp)ji，(wm)ij=(wm)ji，因而Wt中分量也满足对称条件。这就保证了系统在异步时能够收敛并且不会出现极限环。

4)网络的偏差构造为bt=xP-Wt·xP。下面推导记忆样本能够收敛到自己的有效性。

(1)对于输入样本中的任意目标矢量xp，p=1，2，…，P，因为(xp-xP)是A中的一个矢量，它属于A的秩所定义的K个基空间的矢量，所以必存在系数α1，α2，…，αK，使xp-xP=α1u1+α2u2+…+αKuK，即xp=α1u1+α2u2+…+αKuK+xP，对于U中任意一个ui，有中国矿产资源评价新技术与评价新模型由正交性质可知，上式中当i=j， ；当i≠j， ；对于输入模式xi，其网络输出为yi=sgn(Wtxi+bt)=sgn(Wpxi-T·Wmxi+xP-WpxP+T·WmxP)=sgn[Wp(xi-xP)-T·Wm(xi-xP)+xP]=sgn[(Wp-T·Wm)(xi-xP)+xP]=sgn[Wt(xi-xP)+xP]=sgn[(xi-xP)+xP]=xi。

(2)对于输入模式xP，其网络输出为yP=sgn(WtxP+bt)=sgn(WtxP+xP-WtxP)=sgn(xP)=xP。

(3)如果输入一个不是记忆样本的x，网络输出为y=sgn(Wtx+bt)=sgn[(Wp-T·Wm)(x-xP)+xP]=sgn[Wt(x-xP)+xP]。

因为x不是已学习过的记忆样本，x-xP不是A中的矢量，则必然有Wt(x-xP)≠x-xP，并且再设计过程中可以通过调节Wt=Wp-T·Wm中的参数T的大小来控制(x-xP)与xP的符号，以保证输入矢量x与记忆样本之间存在足够的大小余额，从而使sgn(Wtx+bt)≠x，使x不能收敛到自身。

用输入模式给出一组目标平衡点，函数HopfieldDesign( )可以设计出 Hopfield 网络的权值和偏差，保证网络对给定的目标矢量能收敛到稳定的平衡点。

设计好网络后，可以应用函数HopfieldSimu( )，对输入矢量进行分类，这些输入矢量将趋近目标平衡点，最终找到他们的目标矢量，作为对输入矢量进行分类。

三、总体算法1.Hopfield网络权值W[N][N]、偏差b[N]设计总体算法应用正交化权值设计方法，设计Hopfield网络；根据给定的目标矢量设计产