反馈神经网络Hopfield网络

一、前言

经过一段时间的积累，对于神经网络，已经基本掌握了感知器、BP算法及其改进、AdaLine等最为简单和基础的前馈型神经网络知识，下面开启的是基于反馈型的神经网络Hopfiled神经网络。前馈型神经网络通过引入隐层及非线性转移函数（激活函数）使得网络具有复杂的非线性映射能力。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。J.J. Hopfield教授在反馈神经网络中引入了能量函数的概念，使得反馈型神经网络运行稳定性的判断有了可靠依据，1985年Hopfield和Tank共同用模拟电子线路实现了Hopfield网，并成功的求解了优化组合问题中最具有代表性的旅行商TSP问题，从而开辟了神经网络用于智能信息处理的新途径。

前馈网络中，不论是离散还是连续，一般都不考虑输入和输出之间在时间上的滞后性，而只是表达两者间的映射关系，但在Hopfield网络中，需考虑输入输出间的延迟因素，因此需要通过微分方程或差分方程描述网络的动态数学模型。

神经网络的学习方式包括三种：监督学习、非监督学习、灌输式学习。对于Hopfield网络的权值不是经过反复学习获得的，而是按照一定的实现规则计算出来，在改变的是网络的状态，直到网络状态稳定时输出的就是问题的解。

Hopfield网络分为连续性和离散型，分别记为CHNN和DHNN。这里主要讲解DHNN。