Fully memristive neural networks for pattern classification with unsupervised learning（硬翻译）

摘要

由人工神经元和突触组成的神经形态计算机可以提供比传统硬件更有效的实现神经网络算法的方法。最近，基于忆阻器的人工神经元已经被开发出来，但其生物现实动力学有限，并且没有与集成网络中的人工突触直接交互。在这里，我们证明了基于介电薄膜中的银纳米颗粒的扩散忆阻器可以用来创建具有随机漏积分和点火动力学以及可调积分时间的人工神经元，这取决于银的迁移或其与电路电容的相互作用。我们将这些神经元与非易失性记忆突触结合起来，构建完全记忆的人工神经网络。利用这些集成网络，我们在实验上演示了无监督的突触权重更新和模式分类

引言

最近，AlphaGo及其variants1的性能证明了人工神经网络（ANN）的显著功能，这表明在传统计算平台上实现的人工智能可以自行学习，并在某些受限问题上超过人类的技能。然而，传统的CMOS（互补金属-氧化物-半导体）器件和电路执行启发大脑的计算方法效率低下，这并不奇怪，因为晶体管并没有为此目的而创建或优化。因此，对于一个小得多的神经网络，AlphaGo及其变体消耗的能量远高于人脑。（例如，AlphaGo Zero接受了64个图形处理单元和19个中央处理单元的培训，并使用四个张量处理单元1进行推理。）行为更像突触和神经元的设备应该提供更有效的神经网络实现。在构建硬件ANN方面取得了进展，这些ANN包括氧化还原忆阻器2–14、相变忆阻器15–18、有机晶体管19和传统CMOS电路20,21，通过利用可调电导作为突触权重来模拟突触。然而，在所有这些人工神经网络中，信号处理功能要么通过CMOS电路（约10个或更多晶体管）实现，要么通过在处理器上运行的软件来模拟神经元21,22，这限制了网络可扩展性、可堆叠性和能效的进一步改进。最近，有报道称，基于Mott记忆元件23–25、相变记忆元件26、氧化还原记忆元件27–29和硫系阈值开关30的人工神经元具有时间突触整合，但是，目前还没有一种离散可扩展电子设备的演示，这种设备可以通过记忆突触进行泄漏的集成和发射信号处理以及无监督学习，也没有一种仅包含新兴设备的网络级功能集成硬件演示
在本文中，我们报道了一种基于扩散忆阻器的随机动力学人工神经元，该忆阻器依赖于银在宿主电介质31–33中的迁移。时间响应由忆阻器的内部状态变量或其与电路元件总RC时间常数的相互作用决定。这已被用于实现功能神经网络的卷积层、校正线性单元（RELU）和全连接层，以展示在全记忆神经网络中通过无监督突触权重更新实现的模式分类能力。

扩散忆阻器作为泄漏集成和激发神经元

神经元处理重要的信号处理任务：如果在规定的时间间隔内达到阈值，它集成通过突触接收的输入，并生成输出信号；如果超过该时间间隔，则允许集成输入信号衰减（即忘记）。漏积分和激发模型35通常用于描述生物神经元中的这种行为，并由挥发性忆阻器模拟，当超过其刺激阈值时，挥发性忆阻器会转变为高电导状态。神经元的“漏”膜电位对应于忆阻器的挥发性电导，这是遗忘的一个关键动力学特性。这允许神经元在成功触发输出脉冲后自动恢复其静息膜电位，如果由于刺激不足而未能恢复，则会重置原始阈值。衰减时间决定了神经元的记忆广度，从而在ANNs36中实现短期记忆。除了时间意义外，信号衰减在空间整合中也至关重要，因为它通过信号沿树突的传输时间来衡量网络中不同位置（甚至同时发生的事件）的信号
我们用扩散忆阻器物理模拟了漏集成和发射神经元模型，该扩散忆阻器是通过在两个电极之间夹一种仔细掺杂了银纳米团簇的介电材料（如SiOxNy或SiOx）制成的。图1a所示的这种离散装置的特点是，在人工神经元上串联电阻，施加电压脉冲，以表示突触，并记录产生的输出电流随时间的变化。图1b-e将实验测量数据与相应的基于物理的模拟结果进行了比较。（参见方法。）在输入单个超阈值电压脉冲和一系列低电压脉冲期间及之后，观察人工神经元的时间行为。（参见补充图1。）在电压脉冲到达和输出电流上升之间有一个明显的延迟时间（τd），这是由电路的RC时间常数与忆阻器的内部银动力学相互作用引起的。对于相对较大的电路电容，RC时间常数（即建立扩散忆阻器开关电压的时间）主导延迟时间。（参见补充图2。）电容越小，RC时间越短，忆阻器的内部Ag动力学控制延迟时间，从而控制积分和点火行为，如图1所示。扩散型忆阻器的内部银动力学源自复杂的多物理效应，包括电场诱导的电极银质量传输（例如银扩散和氧化还原反应；见补充注释1）以及导电路径37–41的形成。我们建立了一个基于物理的模型，该模型与银丝生长和断裂的微观观察结果非常吻合。虽然该模型的合并机制不包括所有可能的物理，但在这一阶段，它提供了扩散忆阻器的速率限制动力学的良好近似，因此足以理解忆阻器内部银动力学和电路电容之间的相互作用。
电压脉冲下降后，忆阻器电导随银扩散动力学在我们的模型中确定的特征时间（τr）而松弛，以溶解纳米颗粒桥并使神经元返回其静止状态。（有关延迟和松弛特性，请参见补充图3。）弛豫动力学还导致内部Ag动力学的泄漏，其逐渐溶解Ag导电通道，其由Ag和电介质之间的界面能最小化或Thomson–Gibbs效应33驱动。如图1b、d所示，当一系列亚阈值脉冲应用于该装置时，该装置在一定数量的脉冲后点火，并在脉冲序列结束后放松回到静止状态。如图1c所示，e分别是相应的实验测量和模拟的放电统计直方图，这表明阈值并不尖锐，但具有相关的概率分布函数，提供了在实际神经元中常见的随机行为。由于内部忆阻器动力学取决于纳米颗粒的行为，因此这里观察到的泄漏集成和点火机制应该扩展到非常小的设备尺寸。
因此，人工神经元中扩散忆阻器的功能与用作长期电阻记忆元件或突触的非易失性漂移忆阻器或相变记忆器件的功能非常不同26,42,43。扩散忆阻器在一个时间窗口内整合突触前信号，只有在达到阈值时才转换到低电阻状态。
根据系统配置，电路RC定时或忆阻器动力学可能主导人工神经元的时间行为。为了清楚地展示主要的RC效应，我们使用了一个相对较大的外部电容器（>1nF）与扩散忆阻器并联。（参见补充图4。）人工神经元的漏积分和火灾响应可以通过调整装置周围的电路和物理设计来调节，如图2a所示。扩散型忆阻器的阈值行为可与位于神经元胞体附近的离子通道的阈值行为相比较，而膜电容和轴向电阻由与忆阻器平行的电容器Cm和与此组合串联的电阻器RA表示23。在神经元中，来自周围神经元的所有输入都通过突触提供，并在胞体附近整合；膜电容充电，当电荷达到阈值时激活离子通道，神经元就会启动。当输入脉冲被施加到图2a所示的元件上时，电路电容以时间常数（RaCm）充电，从而增加扩散忆阻器上的电压。如果达到阈值，电极之间会形成一个银传导通道，从而切换忆阻器并放电（点燃）电容器。我们提供的数据显示了图2b中的电容器充电和随后由忆阻器触发的电流脉冲。如图2b、c所示，较小的电容会使集成过程和尖峰更快，而较大的轴向输入电阻会减缓电荷积聚，延迟或阻止放电。扩散忆阻器上的电流尖峰与电容器的放电一致，表明电容器中存储的电荷的主动释放。正如生物神经元的物理环境会影响其特性44一样，混合设备的结构及其周围的电路设计也会控制对输入刺激的响应。这使我们能够定制人工神经元的特性，以实现特定应用所需的响应特性。（影响点火性能的因素见补充表1。）

人工神经元和突触之间的相互作用

接下来，我们通过实验证明了人工神经元和突触之间的相互作用，这是所有生物神经系统学习的基础。（关于RC定时效应的输入波形设计，参见补充图5和6。）一个重量小（电导低）的漂移忆阻器突触与人工神经元串联，由一个扩散忆阻器和一个电容器并联组成，以模拟这种情况下的大电路电容。（参见补充图7a。）突触的效率较低，即其上的电压降较大，这导致在应用脉冲的上升沿期间，电路电容上的电荷缓慢积聚。人工神经元会整合输入，但不会触发，因为它无法在脉冲持续时间内达到所需的阈值。另一方面，重量更大的突触（或漂移忆阻器突触的电导更高）会导致电容上的电荷更快积聚，并成功触发事件，如补充图7b所示。对于电路电容可忽略不计的情况，重量较小的突触在人工神经元上产生较小的电压分配，人工神经元由一个扩散忆阻器和一个电阻器并联而成。
根据补充电阻和突触之间的电阻，可能不需要这个比率然而，当扩散忆阻器（或并联电阻器）上的电压降变得更大并超过阈值时，大量突触会导致观察到的人工神经元放电。（参见补充图7d。）
为了实验说明神经元放电引起的无监督突触重量更新，我们使用了一个2×2漂移忆阻器突触阵列，在每个输出端连接到扩散忆阻器人工神经元，如图3所示。所有的突触都被初始化为小重量，由于其切换的随机性，会有一些变化，如图3a所示。我们在第一排突触上施加一个三角形电压脉冲（图3中的第一列）或一列矩形尖峰（图3中的第三列），分别模拟低电路电容和高电路电容。第二行的偏差几乎为零。本演示中使用了“10”数字输入矢量模式，但原则上可以使用模拟输入。如图3a，b的第一列和第三列所示，连接到右列的神经元N2激发，因为突触S12的初始重量稍大。神经元的放电拉低S12和S 22的底部电极的电压，从而在S12上产生大的电压尖峰（图3B的中间板中的红线），进一步增强其重量。接下来，我们验证了输入向量“11”的网络响应。当三角形电压脉冲（图3a中的第二列）或矩形尖峰序列（图3a中的第四列）分别对应于高电路电容和低电路电容应用于2×2网络的两行时，两个神经元都会激发，从而增强突触S12和S21的重量。（参见图3b中的第二列和第四列。）

（看不出来和更新有啥关系，但电流大了代表电导大，也就代表权重改变了？那电流一通过，岂不是一直都在改变？）

全忆阻器神经网络

然后，我们进一步在一个原型完全集成的记忆神经网络芯片上演示推理。图4a显示了集成芯片的概况，该芯片由一个晶体管一忆阻器（1T1R）突触阵列和扩散忆阻器神经元组成。这些突触是通过使用后端工艺将漂移忆阻器与铸造厂生产的晶体管阵列集成而成的。（参见方法。）每个Pd/HfO2/Ta忆阻器连接到一个串联的n型增强型晶体管。图4b显示了单个1T1R单元和相关连接的详细结构。当所有晶体管都打开时，1T1R阵列作为一个完全连接的忆阻器交叉杆工作。在集成忆阻器上使用高分辨率透射电子显微镜进行结构分析，发现在Pd和Ta电极之间夹有一层非晶态HfO2层（图4c）。图4d显示了单个扩散忆阻器的连接。其横截面的透射电子显微图显示了背景SiOx介电晶格和纳米晶Ag层的非晶态性质，如图所示4e
这种完全记忆神经网络可以对突触前信号进行分类。为了演示，这些突触被预先设定为具有不同的权重，这可能是任何学习过程的结果。四个字母模式“U”、“M”、“A”和“S”以及人为添加的噪声被用作示例输入。图4f中的红色和蓝色方块表示馈送到突触阵列行的输入差分电压。例如，深红色方块表示+0.8 V/−0.8 V输入对和浅蓝色方形表示−0.6 V/+0.6 V输入对。输入模式分为四个子图像，大小为2×2，步幅为2。每个子图像被展开成一个单列输入向量（八个电压），并每次馈入网络（八行）。对于每个可能的子图像，有一个对应的卷积滤波器，由一列中的八个忆阻器突触实现，在8×8阵列中总共有八个滤波器（八列）。编程后，测量的重量如图4g所示。卷积矩阵的负值通过将相邻行的忆阻器分组形成微分对，映射到忆阻器单元的电导。八个滤波器对每个子图像的卷积结果通过相应的扩散忆阻器人工神经元的放电同时显示出来，这些神经元充当ReLUs的角色。该网络可以对每个输入模式产生独特的响应，如图4h，i所示，以积分时间和最大火灾电流的形式。补充图8b描绘了神经元对噪声“UMAS”输入的时间电流响应。我们还通过将八个无噪声模式周期性地输入网络，并记录神经元的平均放电延迟和电流，验证了网络的可重复性（参见补充图9b）。将图4h与补充图9b进行比较：噪声输入的积分时间通常较长，因为输入较小，因此卷积结果较少。相应地，具有正加性噪声的输入通常会触发得更快。这种由记忆器人工突触和人工神经元组成的完全集成记忆神经网络的原理证明可以扩展，以节能的方式实现更高复杂性的学习系统，如多层神经元网络45。（功耗分析见补充说明2。）
脉冲时间依赖性可塑性是脉冲神经网络中突触重量更新的一种普遍协议3,46。在这里，我们根据图3中的观察结果推导出一个简单的尖峰时间相关塑性方案，以无监督的方法训练完全连接的层，这自然补充了图4中的卷积和ReLU层，并进一步实现了功能性卷积网络。由于漂移忆阻器突触编码条件概率12，神经元将倾向于对与放电事件相关的输入方式作出反应，基本上对输入进行聚类。这在实验上如图5所示。软件池和信号转换用于将ReLU层的输出转换为完全连接层的输入。（参见图5a和方法。）在全连接的前馈网络中，采用了典型的侧向抑制，以增强对输入的区分，并使自适应网络的能量效率12,47–50。（参见方法。）经过几个周期的不确定性后，突触的电导集中在初始值（~100µS）附近，突触显然是由简单的依赖于尖峰时间的可塑性规则编程的。如图5d所示，经历增强或抑制后，与N1、N2和N3神经元相关联的突触模式通过自组织过程迅速与图5a中的一种原型模式（即分别为“11110000”、“11000011”和“000011100”）相似。还需要指出的是，突触可能对学习规则表现出不同的反应。例如，N1的第三个突触和N2的第七个突触的增强程度要小得多，这可能是由于漂移忆阻器阈值条件的设备间变化。漂移忆阻器电导的快速发散表明其学习速度快，这取决于扩散忆阻器神经元的放电时间或脉冲宽度。这种收敛还通过图5b中输入模式的幅度（或阈值）反映出来。特定图案的大小在前几个周期内减小，然后变得稳定。这是因为漂移忆阻器的发散电导趋于饱和，因此当它们接近电导范围的上限（下限）时，电导的进一步增加（减少）将变得不那么有效。

结论

我们展示了一种基于离散可伸缩扩散忆阻器的随机漏积分和激发人工神经元，其银动力学与实际神经元离子通道相似。这代表了迄今为止最简单但仍然可靠的电子神经元功能的实现，与需要数十到数百个CMOS器件的传统方法形成对比。基于物理的模拟再现了我们的实验观察结果，增强了我们对忆阻器动力学和电路RC效应之间相互作用的理解。最后，我们已经证明，我们的人工神经元可以利用integrate和fire函数在集成记忆卷积神经网络上实现无监督的突触权重更新和模式分类。

方法
离散扩散忆阻器和漂移忆阻器的制作。扩散忆阻器器件是在具有100nm热氧化物的p型（100）硅晶片上制备的。通过光刻、蒸发和剥离~20/2nm Pt/Ti，对底部电极进行图案化。通过在Ar、N2和O2中反应性地共溅射Si和Ag，在室温下沉积了约16nm厚的掺杂介电层。随后，通过光刻、蒸发和剥离工艺对大约30nm的铂顶电极进行图案化。底部电极的电接触垫首先通过光刻形成图案，然后用CHF3和O2混合气体进行反应离子蚀刻。
漂移型忆阻器与扩散型忆阻器共用相同的衬底和底电极。在250°C下通过原子层沉积法沉积HfO 2开关层，随后对其进行图案化以进行反应离子蚀刻。最后，50/10nm Ta/Pd的顶部电极被溅射并剥离。
全集成忆阻神经网络的制作。演示中使用的突触是带有Pd/HfO2/Ta忆阻器的1T1R阵列。晶体管阵列的前端和部分后端工艺在一家商业工厂完成。为了在fab金属层和忆阻器之间建立良好的连接，进行氩等离子体处理以去除原生金属氧化物层，然后通过溅射和剥离工艺沉积5nm Ag和200nm Pd，并在300°C下退火0.5h。然后通过溅射沉积5nm Ta粘合层和60nm Pd底部电极，并通过剥离形成图案。在250°C下通过原子层沉积法沉积HfO2开关层。通过光刻和反应离子刻蚀完成开关层的图形化。50纳米钽的顶部电极被溅射并剥离。扩散忆阻器的底部电极通过光刻、蒸发和剥离约2/20/2nm Ti/Pt/Ag形成图案。为了增强扩散型忆阻器电极和漂移型忆阻器柱线之间的接触，对100nm的Pd贴片进行了图形化、溅射和剥离。通过在Ar中共溅射SiO2和Ag，然后剥离，在室温下图案化并沉积了约10nm厚的掺杂介电层。随后通过光刻、蒸发和剥离工艺对大约2/30nm的Ag/Pt顶部电极进行图案化。

电气测量。我们使用按键B1530对图1所示的结果进行了电气测量。使用Keysight B1530的一个通道，我们在扩散忆阻器上串联一个电阻器，施加电压脉冲，并使用另一个通道测量电流。
无花果的电气测量。2和3是使用Keysight 33622A任意波形发生器、Keysight MSOX3104混合信号示波器和Keysight B1530 WGFMU制作的。电压脉冲由Keysight 33622A施加。模拟示波器通道用于测量函数发生器输出端和扩散忆阻器两端的电压。通过扩散忆阻器的电流通过按键B1530进行监控。
我们使用电解电容器和通用电阻器。对于图2中的脉冲宽度研究，我们使用了一个50 kΩ电阻器和一个5 nF电容器，脉冲间隔为100µs；脉冲幅度研究使用了100µs脉冲开启持续时间和50µs间隔，以及一个10 nF电容器和一个47 kΩ电阻器；在脉冲间隔研究中，我们使用了一个50 kΩ的电阻器和一个5 nF的电容器，脉冲持续时间为100µs。
开发了一个内部定制的测量系统来操作全记忆神经网络51。如补充图10a所示，系统在两种不同模式下工作，由定制多路复用器（MUX）阵列切换。在第一种模式中，突触阵列的行电极（Pd/HfO x/Ta忆阻器的Pd电极）连接到波形发生器，后者输出三角形波形。通过扩散忆阻器神经元的电流由跨阻放大器（TIAS）和微控制器单元2（MCU 2）采样。在第二种模式中，漂移忆阻器阵列的行（列）连接到定制的行（列）印刷电路板，使扩散忆阻器浮动。

培训方案详见补充图10b。实验运行了30个呈现给网络的八像素图案。每种模式都源自图4i中的神经元输出。（参见补充图11。）基本上，输入电压与通过软件池扫描四个字母（“U”、“M”、“A”和“S”中的一个时神经元的最大电流成正比；见图4f）。八个像素输出通过函数生成器的四个通道通过平均每对来生成。（理想的输出模式是’11110000’、‘11110000’、‘000011100’和’11000011’，这允许在空间中以较小的尺寸表示。）电流到电压的转换是通过添加人工噪声的软件完成的。
通过训练方案和硬件辅助实现了侧向抑制。对输入模式进行缩放，使其在每个训练周期开始时的最大值为0.5 V。输入模式的电压逐渐增加，直到神经元触发。原则上，足够慢的爬坡率可以限制同时放电神经元的数量。此外，我们还对MCU 2进行编程，一旦在每个周期中确定了一个火灾事件，就可以浮动失败神经元的列，以确保只有获胜神经元才能成功触发其突触的可塑性。漂移忆阻器突触的抑制是在每次触发事件后通过定制的排板向所有接收获胜者神经元低输入的漂移忆阻器施加重置脉冲来完成的。

---

硬翻译的，很多地方都不太明白，仿佛是化学专业的，方法都在制备上