MemoryBank：Enhancing Large Language Models with Long-Term Memory

MemoryBank建立在一个具有内存检索和更新机制的内存存储器上，能够总结过去的事件和用户的个性。通过不断的记忆更新不断进化，通过合成以前交互的信息，随着时间的推移理解和适应用户的个性，允许LLM根据经过的时间和记忆的相对重要性来忘记和强化记忆，从而提供更像人类的记忆机制和丰富的用户体验（需要持续互动，如私人伴侣系统、心理咨询和秘书协助）

包容性强，对ChatGPT这样的封闭源代码模型和像ChatGLM这样的开放源代码模型方面是通用的

MemoryBank思想在作者源码上体现的很简单，就是他每次出现查询请求时，都会遍历一遍历史对话记录，然后当前查询的内容遗忘保留率s+1（有具体的数学模型，可以参考链接：https://www.zhihu.com/question/364132423，但是作者为了方便简化了），作者的数学模型就是e^(-t/s)，然后计算出这个遗忘强度值，然后用random随机数进行比较，当大于就删除这个，小于就保留，就实现了艾宾浩斯记忆曲线可以遗忘和增强记忆的功能。

原文链接：https://ojs.aaai.org/index.php/AAAI/article/view/29946

以下是翻译和个人理解：

摘要

大型语言模型（LLM）的革命性进步极大地重塑了我们与人工智能（AI）系统的互动，在一系列任务中表现出令人印象深刻的性能。尽管如此，一个显著的障碍仍然存在——这些模型中缺乏长期记忆机制。这种不足在需要持续互动的情况下变得越来越明显，如私人伴侣系统、心理咨询和秘书协助。认识到长期记忆的必要性，我们提出了MemoryBank，这是一种为LLM量身定制的新型记忆机制。记忆库使模型能够唤起相关记忆，通过不断的记忆更新不断进化，通过合成以前交互的信息，随着时间的推移理解和适应用户的个性。为了模仿拟人行为并选择性地保存记忆，记忆库引入了一种记忆更新机制，其灵感来自埃宾浩斯遗忘曲线理论。这种机制允许人工智能根据经过的时间和记忆的相对重要性来忘记和强化记忆，从而提供更像人类的记忆机制和丰富的用户体验。MemoryBank在容纳像ChatGPT这样的封闭源代码模型和像ChatGLM这样的开放源代码模型方面是通用的。为了验证MemoryBank的有效性，我们通过在长期人工智能伴侣场景中创建一个名为SiliconFriend的基于LLM的聊天机器人来举例说明其应用。进一步调整心理逻辑对话数据，SiliconFriends在互动中表现出更高的同理心和辨别力。实验包括对真实世界用户对话框的定性分析和对模拟对话框的定量分析。在后者中，ChatGPT充当具有不同特征的多个用户，并生成涵盖广泛主题的长期对话上下文。我们的分析结果表明，配备MemoryBank的Sili-conFriend具有很强的长期陪伴能力，因为它可以提供有力的反应，回忆相关记忆，了解用户个性。这突出了MemoryBank的有效性

1 引言

大型语言模型（LLM）的出现，如ChatGPT（OpenAI，2022）和GPT-4（Open AI，2023），导致了从教育、医疗保健到客户服务和娱乐等各个行业的影响力不断增加。这些强大的人工智能系统展示了理解和产生类似人类反应的非凡能力。尽管LLM具有非凡的能力，但一个关键的局限性是缺乏长期记忆，这是类人沟通的一个重要方面，在需要持续互动的场景中尤其明显，如个人陪伴、心理咨询和秘书任务。人工智能中的长期记忆对于保持上下文理解、确保有意义的交互以及随着时间的推移理解用户行为至关重要。

例如，个人人工智能同伴需要回忆过去的对话，以建立融洽的关系。在心理咨询中，人工智能可以通过了解用户的历史和过去的情绪状态来提供更有效的支持。同样，秘书人工智能需要记忆来进行任务管理和偏好识别。LLM中长期记忆的缺失阻碍了它们的性能和用户体验。因此，开发具有改进记忆能力的人工智能系统以实现更无缝和个性化的交互至关重要。

因此，我们引入了MemoryBank，这是一种新颖的机制，旨在为LLM提供保持长期记忆和绘制用户画像的能力。MemoryBank使LLM能够回忆历史互动，不断发展他们对上下文的理解，并根据过去的互动适应用户的个性，从而提高他们在长期互动场景中的表现。受Ebbinghaus遗忘曲线理论的启发，MemoryBank进一步融入了一种动态记忆机制，该机制密切反映了人类的认知过程。这一机制使人工智能能够记忆、选择性遗忘，并根据逝去的时间加强记忆，提供更自然、更吸引人的用户体验。具体来说，MemoryBank建立在一个具有内存检索和更新机制的内存存储器上，能够总结过去的事件和用户的个性。

MemoryBank是多功能的，因为它既可以容纳像ChatGPT这样的封闭源代码LLM，也可以容纳像ChapGLM（Zeng et al.，2022）或BELLE（Yunjie Ji&Li，2023）这样的开源LLM。

为了举例说明MemoryBank的实际意义，我们开发了SiliconFriend，这是一款基于LLM的人工智能伴侣聊天机器人，与这种创新的记忆机制相集成。SiliconFriend旨在保留和参考过去的互动，增强MemoryBank在打造更具个性的人工智能伴侣方面的变革影响力。SiliconFriend的一个显著特点是，它对从各种在线来源收集的38k个心理对话进行了调整，这使它能够表现出同理心、细心，并提供有用的指导，使它能够熟练地处理充满情感的对话。此外，SiliconFriend的突出功能之一是通过总结过去的互动来了解用户的个性，这使其能够根据用户的个人特征定制反应，从而增强用户体验。此外，SiliconFriend支持双语功能，可满足中英文交流用户的需求。这种多语言支持将其可访问性和可用性扩展到不同的用户组。SiliconFriend通过两个开源模型ChatGLM和BELLE以及一个闭源模型ChatGPT实现，展示了MemoryBank在适应不同LLM方面的多功能性。

为了评估MemoryBank的有效性，我们进行了包括定性和定量分析的评估，其中前者涉及真实世界的用户对话，后者采用模拟对话。为了进行定量分析，我们创建了一个由10天的对话组成的记忆库，这些对话涵盖了各种各样的主题。这些对话涉及15个不同性格的虚拟用户，其中ChatGPT扮演用户的角色，并根据他们的性格生成对话上下文。基于这种记忆存储，我们设计了194个探究性问题，以评估模型是否能够成功地回忆起相关记忆并提供适当的反应。实验结果展示了SiliconFriend在记忆回忆、提供移情陪伴和理解用户画像方面的能力。这些发现证实了MemoryBank在长期互动场景中显著提高LLM性能的潜力。在本文中，我们将主要贡献总结如下：

•我们介绍了MemoryBank，这是一种新型的类人长期记忆机制，使LLM能够存储、回忆、更新记忆和绘制用户画像。

•我们通过SiliconFriend展示了MemoryBank的实际适用性，SiliconFriends是一款基于LLM的人工智能伴侣，配备了MemoryBank，并通过心理对话进行调整。它可以回忆过去的记忆，提供同理心的陪伴，并理解用户的行为。

•我们在三个关键方面展示了MemoryBank的可推广性：（1）适应开源和闭源LLM；（2） 具备中英文双语能力；（3） 具有和不具有记忆遗忘机制的适用性。</