Hopfiled求解TSP（一）——Hopfiled简介

Hopfiled特点

（1）每个神经元既是输入也是输出，构成单层全连接递归网络

（2）网络的突触权值不同于其他的神经网络是通过有监督或无监督反复学习来获得，而是在搭建网络时就按照一定的规则计算出来，且网络的权值在整个网络迭代过程中不再改变

（3）网络的状态是随时间的变化而变化的，每个神经元在t时刻的输出状态和自己t-1时刻有关

（4）引入能量函数的概念，用来判断网络迭代的稳定性，即网络的收敛，就是指能量函数达到极小值

（5）网络的解，即是网络运行到稳定时，各个神经元的状态集合

Hopfield神经网络也是递归神经网络（RNN）的前身，Hopfield模型分为：

离散型（DHNN）：适用于处理联想记忆问题

连续性（CHNN）：适用于处理组合优化问题

神经动力学

神经动力学的定义：将神经网络看做是一种非线性动力学系统，系统的状态集合随时间的变化而变化

令系统的输出状态变量集合为

其中t是连续时间变量，则系统的输出状态和输出状态的增量可以用下面的微分方程表示

注：
输出的增量为激活函数对输入的作用
输出（now）=输出（past）+F(输出（now）)
其中F函数是S型非线性函数映射，一般F取对称sigmoid双曲正切函数来完成输出状态的非线性映射。

CHNN的网络结构

TSP问题是组合优化，使用Hopfield神经网络的CHNN模型，将网络抽象为

（1）Hopfield神经网络等效为放大电子电路

（2）Hopfield每一个神经元等效为一个电子放大器元件

（3）Hopfield每一个神经元的输入和输出，等效为电子元件的输入电压和输出电压

（4）每一个电子元件（神经元）输出的电信号有正负值，正值代表兴奋，负值代表抑制

（5）每一个电子元件（神经元）的输入信息，包含恒定的外部电流输入，和其它电子元件的反馈连接

根据以上等效抽象，CHNN的电路拓扑图结构为：

其中，Ui表示放大电子元件的输入电压，Vi表示输出电压，运算放大器i表示第i个神经元。

一般性CHNN模型的状态方程推导

设电容C两端的电压为Uc，存储的电荷量为Q，则

则经过电容C的电流为

根据基尔霍夫电流定律，CHNN等效电路的电流关系为

注：
RC网络电容电流+RC网络电阻电流=输出电流+偏置电流
（放大器虚短虚断）

令Tij表示神经元之间连接的权值

则电流关系化简为

上式就是关于CHNN模型中输入电压vi和ui增量的微分方程关系，也就是CHNN模型的状态方程，其中输入电压vi满足非线性映射规则f

一般性CHNN模型的能量方程定义

在神经网络的优化过程中，目标函数是用来判断当前网络是否达到稳定，即网络的优化，就是目标函数逼近达到最小值的过程，一般的优化算法有：梯度下降法、牛顿法、启发式优化等

但是在Hopfield网络中，由于网络的权重全程保持不变，神经元当前时刻状态和上一个时刻相关，为此我们采用能量函数来衡量Hopfield网络的稳定性

由于CHNN的能量函数定义为
注：
如何得来的能量函数？？

能量函数E是单调下降，故Hopfield网络是稳定的

至此，有了Hopfield网络的CHNN模型的状态方程和能量函数，我们就可以来尝试抽象和转化TSP问题