联想记忆计算机网络,主动联想记忆神经网络模型+.pdf

主动联想记忆神经网络模型+.pdf

一

生牺物理学报 第十卷 第三期 1994年 9月

ACTA BJO[PHYSICA SINICA Vo1．10 No．3 Sep．1994

主动联想记忆神经网络模型 +

黄秉 宪

伸酣 剃一， f卜2c＼

摘 要

在信 息编码能提高联想记忆的存贮能力和脑 内存在主动活动机制的启发 下，提 出一十主动联想

记忆模型．模型包括两个神经网络．其一为输^和输 出网络．另一十为在学 习时期 能 自主产 生*奋

模式的主动 网络。两个网络酌神经元之阀有突触联系。由于自主产生的兴奋模式与输入无芙，并可

能接近于相互正交．因此，奉模型有较高的存棼能力。初步分析和计算机仿真证 明：奉模型确有 比通

常联想记忆模型高的存贮能力，特刺是在输^模式问有高度相芙情况下．最后，对提 出的模型与双

向自联想记忆和光学仝惠存 机制的芙系作 了讨论．

美量词： 主动机制 联想记忆 神经 网络

联想记忆神经网络㈣，具有分布存贮，并行运算 的特点和容错，抗干扰和概括能力。 自从

Hopfield引入能量函数概念并与 自旋玻璃模型建立对应关系后，已成 为神经 网络中的一个基

本模型。然而，通常的联想记忆模型存贮容量有限。虽然有不少工作试 图改进联想存贮器之

能力，但都要求增加相应设备，而且人脑不可能象这些方案那样工作 。我们知道联想记忆神

经网络的存贮容量与输入模式的编码有关，在存贮模式相互正交时，可 以达到最大的存贮容

量 另一方面，当外部信息进入人脑时，它不是单纯被动的接收信息，而是经过脑 内某些主动

机制，对外来信息进行分析，选择和综合等，使信息存贮更为有效。我们在联想记忆模型正

交编码提高存贮容量的事实和脑 内存在主动存贮机制的启发下，提出一个新型的联想记忆神

经阿络模型。在模型中包含一个能主动产生接近正交的必奋模式的神经网络，它与另一神经

网络相互作用，用脑 内易于实现的Hebb律进行学习，完成联想存贮任务。通过初步理论分析

和计算机仿真，证明提出的主动联想记忆神经网络具有 比通常联想记忆模型有较高的存贮容

量 。说明模型确能提高联想记忆模型的存贮能力。最后，对本模型与全息存贮和双 向 自联想

模型 (SAM)的关系作 了讨论 。

模型结果及初步分析

这里提出的主动联想记忆模型由两个相互联接的神经网络所组成。其结构框 图如图 l所

示。其 中A为与外部联系的输入和输 出神经网络 ，由N个神经元所组成 。B为有 自主活动 的

神经网络，由M 个神经元所组成 A 中每一个神经元均与 B中每一神经元有突触联系，这些

突触联系是可塑的，即在信息存贮过程中，突触联系权重是可变的并按Hebb律变化。在学习

阶段，外部信息输入到 A中，使 A中一些神经元 奋，其兴奋模式用N维向量 X 来表示。与

此同时，自主神经网络B 自发产生一个相互正交或近于正交的兴奋模式，用 M 维向量 X 来

·本项 目得到国家基础研究 攀登计划 支持

第 3期 主动联想记忆神经 网络模型

来表示 按Hebb律，由A到B的联接权重M= 墨墨。我们假定联接权重是对称的。则由B

到A之联接权重为 ^= 鼍。其中 为学习常数，t表示矩阵的转置。也就是说，我们的模

型除有 自主神经网络 自发产生与输入无关的兴奋模式之外，与一般联想记忆模型一样，用简

单 的、局部 的信息完成存贮任务 在读 出 (即信息提取)阶段 ，由A中输入已存兴奋模式 墨 或

其一部分，通过M 可以取出相应的墨，再 由^ 取出K。这是 自联想的情况 如果将输入 与

输出阿络分开为A．与A，，则类似可 以在学习过程 中，建立突触联系，M ．= Z．， = 墨，。

而 由鼍 通过M ．取出 ，再 由 经 ^ 取出K ，这就是异联想的情况。

在模型 中，我们还加入一些在实际神经系统中可能存在的限制作为假设，而这些限制对联

想记忆模型的存贮能力有好处。其中假定在 自主神经网络中，所有必奋模式