精度学位论文第一篇——忆阻神经网络的全电路设计及其应用（1）

m0_53550551

已于 2024-11-16 14:22:03 修改

阅读量2.4k

点赞数 28

文章标签：神经网络人工智能深度学习

于 2024-10-22 22:19:09 首次发布

本文链接：https://blog.csdn.net/m0_53550551/article/details/143096218

版权

这个是2019 的洪庆辉博士的毕业论文,共147页

通过忆阻器搭建能够实时处理数据与超大并行计算的神经网络硬件电路，使用PSPICE软件进行仿真。

目前，忆阻神经网络成功实现了图像处理和模式识别等功能，但是：网络训练需要线下实现或借助计算机和数字芯片辅助计算；已有的设计基本没有给出完整的神经网络实现电路，不能在硬件上执行完整的在线学习过程。

本文1.构建忆阻模型2.设计基于忆阻器的突触和神经元电路3.设计忆阻器学习电路4.应用到图像识别和曲线拟合等

忆阻突触电路：5M【12】（+-）、4M忆阻桥【13】【69】（+-0不利于集成）、2T1M【14】、1T1M（+阵列）、1M、2M 设计的原则：并行计算和并行编程（利用每个忆阻器都是独立的特点，而阵列每一行/列不是独立的）

基于上述忆阻突触的神经网络电路：感知网络、RBF神经网络、在线学习神经网络、多层神经网络、Hopfield神经网络、回声状态网络、竞争神经网络等。

用来调整突触运算的算法：BP、随机权重调整、STDP、WTA、LMS

具体：

1.依靠计算机：一个双忆阻阵列神经网络电路被提出[83]；Myonglae Chu 等[79]利用忆阻阵列与 CMOS 神经元设计了一种视觉神经形态硬件系统；在忆阻神经网络电路中[42]，利用 WTA 与 STDP 相结合的算法设计成功实现了位置检测。利用忆阻突触阵列设计细胞神经网络，被证明可以加速神经网络运算[85]；忆阻也多可构建其他的神经网络电路，如 RBF 神经网络[24, 25, 86]，Hopfield 神经网络[35-39]，回声状态网络[40]，竞争神经网络[42, 87]，细胞神经网络[85, 88, 89]，Spiking 神经网络[90, 91]，卷积神经网络[92, 93]等；

2.硬件实现：2013 年，Strukov 等[94]提出了一种基于忆阻交叉阵列的单层感知器网络，并利用感知器学习规则进行训练；2015 年，利用 Delta 算法训练了一种基于金属氧化物的双忆阻阵列神经网络，对 3*3 的黑白图像进行分类[23]；

Hu 等[95]利用 HfO2 忆阻器和外围设备构造了一个 Hopfield 网络，实现了联想记忆功能；

2018 年，基于 HfO2 忆阻神经元与 CMOS 实现的细胞神经网络被提出[96]，并实验验证了手写数字识别。Sheridan等[97]利用忆阻交叉阵列结合 WTA 学习算法成功地演示了一个稀疏编码的硬件系统；

2016 年，Prodromakis 等[98]使用金属氧化物忆阻装置作为多状态突触，证明概率 WTA神经网络中的无监督学习过程。基于 1T1M 突触结构的忆阻阵列，构建单层神经网络电路对灰度人脸图像进行识别[15]；

J. Joshua Yang 等[99]以氧化铪忆阻阵列为基础设计了多层神经网络电路，成功演示了高精度的手写数字识别实验。此外，该团队在已有实物忆阻阵列基础上，构建了多种不同的神经网络系统来求解模式识别问题[100-103]。

3.在线学习：

Soudry 等[14]提出在线梯度下降算法来训练忆阻多层神经网络，设计相应的在线权重调整电路。

2018 年，一种基于忆阻的 LMS 算法的回声状态网络计算结构被提出[41]。

针对多层神经网络，ChrisYakopcic 等[80]提出了一种基于忆阻阵列和双忆阻器突触的芯片内训练电路。

近年来，学者们相继提出了多种面向片上学习或者在线学习的忆阻神经网络电路设计[14, 29, 33, 41, 104]。

2018 年，Krestinskaya 等[105]提出了模拟反向传播学习电路的完整设计，并给出了多种可集成的忆阻神经网络结构。但如何对各个子电路模块进行有效的管理，中间信息如何存储和提取，是文中值得探讨的问题。因此，外围控制和存储电路的设计也是神经网络设计中的重要工作。

总结：算法电路+外围电路/存储电路

忆阻器模型——漂移速度自适应的忆阻器模型

1.【化学】2008 年，HP 实验室 Strukov教授[4]提出一个简单的线性忆阻模型。由于该模型仅仅考虑了线性的氧离子迁移，在此基础上，为了更好的描述非线性漂移现象，研究者们相继提出了多种窗函数

(缺点：然而，上述所提出的窗函数主要是用来限定模型中的状态变量不超过边界，其对提高器件的拟合精度作用是有限的。)

2.【化学】2015 年，Kvatinsky 教授提出带电流阈值与电压阈值的 TEAM（ThrEshold Adaptive
Memristor Model，阈值自适应忆阻模型）和 VTEAM（Voltage ThrEshold Adaptive Memristor Model，电压阈值自适应忆阻模型）模型。

3.【spice】2018 年，一个基于 Verilog-A 语言的忆阻器拟合模型被提出。通过调整拟合参数，上述模型均能对动态信号激励下的 I-V 特性曲线进行较好的模拟。然而，不考虑模型中窗函数的影响，上述模型有一个共同的缺陷就是当所施加激励为脉冲电压的时候，忆阻的状态变化量是一个常数，导致其阻值随时间变化的图像为直线。

4.【spice】一个具有遗忘效应的忆阻器模型被提出，可以用来模拟二阶忆阻器。Carbajal 等[48]提出了一个可以模拟动态波动性忆阻模型适合于机器学习。

5.【spice】2017 年，一个适合于神经网络突触计算的忆阻器模型被提出[68]，然而该模型状态变量的导数与电流成反比，这与实际忆阻器理论是不符的。不同忆阻模型的详细分析与讨论可见文[63]

忆阻突触与神经元电路——并行神经元运算与编程，结构简单可应用于大规模神经网络设计

突触：可塑性（权值易变）、仿生

全硬件的算法电路设计——利用忆阻阻态随电压可编程特点，用不同的学习算法去调整忆阻突触权重，相应地设计了基于忆阻的自学习神经元、自学习逻辑及 triplet-STDP 法则学习电路。将 LMS
学习算法的实现引入到神经元电路设计中，建立两种全硬件实现的忆阻学习电路，1.自学习神经元：可根据 LMS 学习规则自动进行算法运算与权值调整 2.自学习逻辑：提出了一种具有自学习功能而无需初始化的通用忆阻逻辑电路。3.triplet-STDP 法则学习电路：构建了 triplet-STDP 法则学习电路，模拟生物神经元激活及 triplet-STDP 法则调整全过程。

忆阻神经网络——感知器网络（图像分类）、RBF神经网络（曲线拟合）、Hopfield神经网络电路（连续递归）、多层神经网络（异或）

一、漂移速度自适应的忆阻模型（DSAM）

从实物忆阻器特性曲线的差异化出发，然后用不同的状态变量曲线来描述该差异，通过调整模型参数，得到不同的速度变化曲线，以此来描述不同的忆阻器。

x为归一化的导电区宽度，范围为【0，1】，其中 ΔR = Roff - Ron ，Ron 和 Roff 分别表示装置的最小与最大电阻值，对应的状态变量为x=1和x=0。

1.1 电压阈值方程g(i,v)

1.2 速度自适应方程f(x,i)

本文提出的状态变量函数提供更多的速率曲线类型，其中先快后慢的状态变化更常见于实物忆阻器，因此该函数具有更大的调整范围和更强的适应性。这表明，本文提出的漂移速度函数与窗函数相比，将为实物忆阻提供更为真实的曲线拟合。首先，与窗函数相比，边界效应、边界锁、尺度性以及非线性等常见窗函数应具备的功能均能解决。