2021年9月22日-忆阻神经网络综述

铁剑库丹

已于 2023-10-30 17:41:19 修改

阅读量5k

点赞数 13

分类专栏：混沌系统参考文章标签：神经网络数学

于 2021-09-22 20:54:20 首次发布

本文链接：https://blog.csdn.net/m0_47694330/article/details/120422692

版权

混沌系统参考专栏收录该内容

1 篇文章 4 订阅

订阅专栏

一、混沌动力学基本概念

萌新时期随便记录的，好多翻译错误(* ￣︿￣)。本来想删掉这篇笔记了，但看到还蛮多人收藏了，就尽力把一些翻译问题修改了。不过还是有些专有名词存在翻译错误，应该，大概，也许吧。。。(‾◡◝)

多种混沌特性：

1个正李雅普诺夫指数 =》混沌
2个及以上李雅普诺夫指数 =》超混沌
短暂时间内的混沌 =》瞬态混沌

什么是吸引子：

混沌系统的相图（运动轨迹）就是吸引子

隐藏吸引子（系统没有平衡点却有吸引子）
自激吸引子（平衡点附近的混沌吸引子）

从稳态的角度分类：

共存吸引子：两个吸引子共存
多稳态：三个或多个吸引子共存的现象
极端多稳态：无穷多个吸引子共存的现象

从时域的角度分类：

混沌尖峰（chaotic spiking）
混沌爆发（chaotic bursting）
混沌放电（chaotic firing）

二、神经元和神经网络模型

1. HH 神经元

1952 年，霍奇金和赫胥黎 (HH) 提出，HH神经元模型描述了真实神经元的尖峰行为和不应期（refractory ）特性，是基于离子通道的非线性电导的尖峰神经元的范式。

在这里插入图片描述

$V$ ：膜电位
$m 、 h 、 n$ ：门控变量
$I_{ion}$ ：离子电流，与 m、n、h 的门控变量有关，并描述了通过膜的离子传输
$I_{syn}$ ：突触电流
$I_{ext}$ ：外部刺激
常数 $g_{Na}、g_K、g_L$ ：钠离子 (Na+)、钾离子 (K+) 和泄漏通道的最大电导
$V_{na}、V_K、V_L$ ：反转电位
$h_\infty、n_\infty、m_\infty、\tau_n、\tau_m、\tau_h$ ：门控变量的饱和度值和弛豫时间

2. FHN 神经元

由 HH 简化而来，描述神经元应激性和尖峰放电

在这里插入图片描述

$x$ ：膜电位（快变量）
$y$ ：离子电流（慢变量）
$I_{ext}$ ：外部刺激
$a, b, c$ ：模型参数

3. ML 神经元

由 HH 简化而来，重现与巨大藤壶纤维中钙离子 (Ca2+) 和 K+ 电导有关的各种振荡行为。

在这里插入图片描述

$V$ ：膜电位
$W$ ：栅极通道的变量
$C$ ：膜的电容
$g_{Ca}、g_K、g_L$ ：分别表示Ca2+的最大电导、K+的最大电导和漏电流的最大电导
$I_{ext}$ ：外部刺激
$V_{Ca}、V_K、V_L$ ：分别是 Ca2+、K+ 和泄漏离子通道的稳态电位
$M_{\infty}(V)、W_{\infty}(V)$ ：钙和钾打开概率的稳定值
$V_1、V_2、V_3、V_4$ ：稳态参数
$\tau_w$ ：系统参数

4. HR 神经元

该模型不仅可以促进计算，而且可以生成真实生物神经元表现出的大部分放电行为，例如静息、尖峰放电和爆发放电。 HR模型包括2D模型和3D模型

2D：

在这里插入图片描述

$x$ ：膜电位
$y$ ：恢复变量
$a, b, c, d$ ：模型参数
$I_{ext}$ ：外部刺激

3D:

在这里插入图片描述

$x$ ：膜电位
$y$ ：描述离子通过快速离子通道穿过神经元膜的交换
$z$ ：缓慢变化的适应电流
$I_{ext}$ ：模拟生物神经元的外部电流
$r$ ：控制慢变量 z 变化速度的小参数
$\epsilon$ ：设置系统的静息电位
$a, b, c, d, s, r$ ：系统参数

5. Chay 神经元

1985 年，为了重现 β 细胞的放电行为，Chay 开发了一个三维神经元模型，可以模拟爆发（bursting）和混沌放电。

在这里插入图片描述

$V$ ：膜电位
$n$ ：打开电压依赖性 $K^+$ 通道的概率
$C$ ：细胞内 $Ca2^+$ 浓度
$I_{ion}, I_{kv}, I_{kc}$ ：分别是内向混合 Na、Ca 离子电流、外向电压依赖性 K 离子电流、外向钙依赖性 K 离子电流
$I_{L}, I{ext}$ ：分别是泄漏电流和外部刺激
$V_{ion}, V_K, V_L$ ：分别是混合 Na - Ca、K 和泄漏离子的反转电位
$g_{ion}, g_{kv}, g_{kc}, g_{L}$ ：表示最大电导，其中下标分别指电压依赖性混合离子通道、电压依赖性 K 通道、电压依赖性 Ca - K 通道和泄漏通道。
$M_\infty, h_\infty$ ：分别为混合通道激活和失活的概率
$n_\infty, n$ ：稳态值

1 - 5 都可以统一成：

在这里插入图片描述

$V_{men}$ ：神经元的膜电位
$V_y$ ：各种离子通道诱导的一些状态变量
$I_{ext}$ ：外部刺激

6. Hopfield 神经网络

由于其强大的非线性和灵活的代数表达式，HNN 特别适合模拟大脑中各种复杂的动力学行为，尤其是混沌行为

在这里插入图片描述

$C_i, R_i, x_i$ ：分别是第 i 个神经元的膜电容、膜电阻和膜电位
$w_{ij}$ ：第 i 个和第 j 个神经元之间的突触权重
$v_j = tanh(x_j)$ ：神经元激活函数
$I_{iext}$ ：外部刺激

7. Cellular 神经网络

1988 年，Chua 和 Yang [10] 提出了一种基于元胞自动机和 Hopfield 神经网络的元胞神经网络（CNN）

在这里插入图片描述

$C$ ：线性电容器
$R$ ：线性电阻器
$x_{ij}, y_{ij}, u_{ij}$ ：分别是神经元 $(i, j)$ 的内部状态、输出、输入
$ A (i, j; k, l) 和 B (i, j; k, l) $：分别是输出反馈参数和输入控制参数
$I_{ijext}$ ：外部输入电流
$C (k, l)$ ：代表神经元 $(k, l)$
$N_r(i,j)$ ：代表神经元 $(i, j)$ 的 $r$ 邻域，
即 ${(k,l)|max\{|k − i|, |l − j|\} ≤ r, 1 ≤ k ≤ M, 1 ≤ l ≤ N\}$

此外， $x_{ij}(θ)|≤1, |u_{ij}|≤1$

三、忆阻神经元和神经网络模型

忆阻（memristance）：
$\frac {d\phi}{dq}$
忆导（memductance）：
$\frac {dq}{d\phi}$
忆阻器（memristor）：将电荷与磁通量之间建立连接的组件，后来延申至任何表现出收缩磁滞回线的两端设备

在这里插入图片描述

磁滞回线：当受到周期性电压或电流信号驱动时，磁滞回线总是通过电压-电流平面中的原点

在这里插入图片描述

忆阻器模型：

在这里插入图片描述

$v$ ：输入电压
$i$ ：输出电流
$W$ ：关于 $\phi$ 的连续函数
$\phi$ ：磁通量

通用忆阻器模型：

在这里插入图片描述

其中 W 是 x 的连续函数，称为记忆电导，x 是状态变量，f (x, v) 是 Lips chitz 函数。

$W$ ：关于 $x$ 的连续函数
$x$ ：状态变量
$f (x, v)$ ：Lipschitz 函数

忆阻器可用于：

模拟生物神经突触
描述由外部电磁辐射引起的电磁感应效应

1. 忆阻自突触神经元模型

将基于忆阻器的自突变产生的自突变电流引入到传统的单神经元模型中，可以建立忆阻自突触神经元模型

概念图：

在这里插入图片描述

忆阻自突电流可以通过由忆阻和膜电位引起的感应电流计算，即：

在这里插入图片描述

$I_{aut}$ ：自突电流
$\rho$ ：自突电流的反馈增益
$V_{mem}$ ：神经元膜电位
$W$ ：忆导

忆阻自突触模型：

在这里插入图片描述

就是第二部分 1 - 5 的统一模型加了一个 $I_{aut}$

运用到第二部分的神经元模型中，发现了很多混沌现象

2. 忆阻突触耦合双神经元网络

概念图：

在这里插入图片描述

当两个神经元通过忆阻器连接时，可以诱导信号交换，即在忆阻突触上产生突触电流。根据忆阻器的非线性特性，忆阻突触电流可以表示为：

在这里插入图片描述

$I_{syn}$ ：忆阻突触电流
$\rho$ ：忆阻器与神经元之间的耦合强度
$V_{men1}, V_{men1}$ ：神经元 1 和神经元 2 的两个膜电位
$W$ ：忆导

忆阻突触耦合双神经元网络可以描述为：

在这里插入图片描述

就是上面的单神经元变双神经元

3. 忆阻突触权重神经网络

概念图：

在这里插入图片描述

因为突触的突触权重和忆阻器的忆导（memductance）都以西门子为单位，所以用忆阻器代替神经元的突触是意料之外但情理之中。落实到 Hopfield 神经网络中就是用忆导代替神经元之间的连接权值：

在这里插入图片描述

其中：仅 $w_{ij}$ 用忆导代替，即：
$w_{ij} = {\rho}W(x)$

$\rho$ ：代表耦合强度

4. 电磁辐射下的神经元

概念图：

在这里插入图片描述

电磁辐射下的神经元：

在这里插入图片描述

其中，k 表示膜电位和磁通量之间的耦合强度

$I_{ER}$ ：磁通量改变时膜电位的反馈电流
$k$ ：表示膜电位和磁通量之间的耦合强度
$\phi$ ：描述穿过神经元膜的磁通量
$V_{mem}$ ：膜电位
$V_y$ ：各种离子通道诱导的一些状态变量
${\mu}V_{mem}$ ：膜电位引起的磁通量变化
$h(\phi)$ ：膜电位引起的磁通量泄漏