连续型Hopfield神经网络(SHNN)结构和特点及其能量函数

1 连续型Hopfield神经网络

连续型Hopfield网络结构如右图所示，它是单层反馈非线性网络，每一个节点的输出均反馈至节点的输入。

Hopfield网络用模拟电路实现的神经元节点如下图。 图中电阻 $R_{i0}$ 和电容 $C_i$ 并联， 模拟生物神经元的延时特性， 电阻 $R_{ij}(j=1,2,...,n)$ 模拟突触特征 ，偏置电流 $I_i$ 相当于阈值， 运算放大器模拟神经元的非线性饱和特性。

设模型中放大器为理想放大器， 其输入端无电流输入， 则第 i 个放大器的输入方程为：
$$\begin{array}{l}{C}_i\frac{d{U}_i}{dt}=-\frac{U_i}{R_{i0}}+\sum _{j=1}^n{W}_{ij}\left(V_i-U_i\right)+I_i\\ W_{ij}=\frac{1}{R_{ij}}\end{array}$$

连续型 HopfieId 动态神经网络模型如下图所示，取 $W_{ij}=W_{ji},W_{ii}=0$ (无自反馈)

设
$$\frac{1}{R_i}=\frac{1}{R_{i0}}+\sum _{j=1}^n{W}_{ij}$$

则有：
$$\{\begin{array}{l}{C}_i\frac{d{U}_i}{dt}=-\frac{U_i}{R_i}+\sum _{j=1}^n{W}_{ij}{V}_i+I_i\\ V_i=f(U_i)\end{array}\text{\hspace{1em}(1)}$$

一般设
$$\{\begin{array}{rl}& U=x\\ & V=y\\ & R_i{C}_i=\tau \\ & \frac{I}{C}=\theta \end{array}$$

$$\{\begin{array}{l}\frac{d{x}_i}{dt}=-\frac{1}{\tau }{x}_i+\frac{1}{C_i}\sum _j{W}_{ij}{y}_j+{\theta }_i\\ y_i=f\left(x_i\right)\end{array}$$

式中 f(x)为S形激励函数。一般有以下两种形式：

1. 非对称型 Sigmoid 函数：$$f(x)=\frac{1}{1+e^{-x}}$$
2. 对称型 Sigmoid 函数：$$f(x)=\frac{1-e^{-x}}{1+e^{-x}}$$

2 能量函数

能量函数的定义
$$E=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{W}_{ij}{V}_i{V}_j-\sum _{i=1}^n{V}_i{I}_i+\sum _{i=1}^n\frac{1}{R_i}{\int }_0^{V_i}{f}^{-1}(V)dV$$

对 ${\sum }_{i=1}^n\frac{1}{R_i}{\int }_0^{V_i}{f}^{-1}(V)dV$ 的 $V_i$ 求导：积分的求导就是 $f^{-1}(V_i)$ 了，由于 $V_i=f(U_i)$，所以 $\frac{\partial {\sum }_{i=1}^n\frac{1}{R_i}{\int }_0^{V_i}{f}^{-1}(V)dV}{\partial V_i}=U_i$

求取 $\frac{dE}{dt}$：
$$\frac{dE}{dt}=\sum _i\frac{\partial E}{\partial V_i}\frac{d{V}_i}{dt}\text{\hspace{1em}(2)}$$

其中：
$$\frac{\partial E}{\partial V_i}=-\frac{1}{2}\sum _j{W}_{ij}{V}_j-\frac{1}{2}\sum _j{W}_{ji}{V}_j-I_i+\frac{1}{R_i}{U}_i$$

由于 $W_{ij}=W_{ji}$，则有：
$$\frac{\partial E}{\partial V_i}=-\sum _j{W}_{ij}{V}_j-I_i+\frac{1}{R_i}{U}_i$$

由连续 Hopfield 运行方程 (1) 可得：
$$\frac{\partial E}{\partial V_i}=-C_i\frac{d{U}_i}{dt}=-C_i\left(\frac{d{V}_i}{dt}\right)\frac{d{U}_i}{d{V}_i}=-C_i\left(\frac{d{V}_i}{dt}\right)\frac{d}{d{V}_i}{f}^{-1}(V_i)$$

将上式代入式 (2) 可得：
$$\frac{dE}{dt}=-\sum _i{C}_i{\left(\frac{d{V}_i}{dt}\right)}^2{f}^{-1}(V_i)$$

由于 $C_i>0,f(U)$ 单调递增，故 $f^{-1}(V)$也单调递增， 可得：
$$\frac{dE}{dt}\le 0$$

当且仅当，$\frac{d{V}_i}{dt}=0$ 时，$\frac{dE}{dt}=0$

结论： 网络是渐进稳定的， 随着时间的推移， 网络的状态向E减小的方向运动， 其稳定平衡状态就是E的极小点。

没看懂看这里

3 连续型 Hopfield 神经网络特点

连续神经网络模型在简化生物神经元性质的同时，重点突出了以下特点：
a. 神经元作为一个输入输出变换，其传输特性具有 sigmoid 特性。
b. 神经元之间大量的兴奋性、抑制性连接，主要通过反馈来实现。
C. 既代表产生动作电位的神经元又代表按渐进方式工作的神经元。

因此， 连续神经网络模型准确地保留了生物神经网络的动态和非线形特征。