MemoryBank: Enhancing Large Language Modelswith Long-Term Memory 论文阅读

论文: 2305.10250.pdf (arxiv.org)

代码：MemoryBank-SiliconFriend/README_cn.md at main · zhongwanjun/MemoryBank-SiliconFriend (github.com)

大型语言模型(llm)的革命性进步极大地重塑了我们与人工智能(AI)系统的交互，在广泛的任务中展示了令人印象深刻的性能。尽管如此，一个明显的障碍仍然存在——在这些模型中缺乏长期记忆机制。这种不足在需要持续互动的情况下变得越来越明显，例如个人伴侣系统、心理咨询和秘书协助。认识到长期记忆的必要性，我们提出了MemoryBank，一种为llm量身定制的新型记忆机制。MemoryBank使模型能够召唤相关记忆，通过持续的记忆更新不断进化，通过综合以前的交互信息，随着时间的推移理解并适应用户的个性。为了模仿拟人化行为并有选择地保存记忆，MemoryBank结合了一个记忆更新机制，灵感来自艾宾浩斯遗忘曲线理论。这种机制允许AI根据时间流逝和记忆的相对重要性来忘记和强化记忆，从而提供更像人类的记忆机制和丰富的用户体验。MemoryBank在容纳像ChatGPT这样的闭源模型和像ChatGLM这样的开源模型方面是通用的。为了验证MemoryBank的有效性，我们通过在长期AI伴侣场景中创建一个名为SiliconFriend的基于llm的聊天机器人来举例说明其应用。进一步调整心理对话数据，SiliconFriend在互动中表现出更高的同理心和洞察力。实验包括对真实用户对话的定性分析和对模拟对话的定量分析。在后者中，ChatGPT充当具有不同特征的多个用户，并生成涵盖广泛主题的长期对话上下文。我们的分析结果显示，搭载记忆库的SiliconFriend具有较强的长期陪伴能力，可以提供重点回应，回忆相关记忆，了解用户个性。这凸显了MemoryBank1的有效性。

1 介绍

ChatGPT (OpenAI, 2022年)和GPT-4 (OpenAI, 2023年)等大型语言模型(llm)的出现，导致从教育、医疗保健到客户服务和娱乐等各个领域的影响力越来越大。这些强大的人工智能系统展示了非凡的能力理解并产生类似人类的反应。尽管法学硕士具有非凡的能力，但一个关键的限制是他们缺乏长期记忆，这是人类沟通的一个重要方面，特别是在需要持续互动的场景中，如个人陪伴、心理咨询和秘书任务。人工智能中的长期记忆对于维持上下文理解、确保有意义的交互和理解用户行为至关重要。例如，个人AI同伴需要回忆过去的对话以建立关系。在心理咨询方面，人工智能可以通过了解用户的历史和过去的情绪状态来提供更有效的支持。同样，秘书人工智能也需要记忆来进行任务管理和偏好识别。llm缺乏长期记忆，影响了其性能和用户体验。因此，开发具有改进记忆能力的人工智能系统以实现更加无缝和个性化的交互至关重要。
因此，我们引入MemoryBank，这是一种新颖的机制，旨在为llm提供保留长期记忆和绘制用户画像的能力。MemoryBank使法学硕士能够回忆历史交互，不断发展他们对上下文的理解，并根据过去的交互适应用户的个性，从而提高他们在长期交互场景中的表现。受艾宾浩斯遗忘曲线理论的启发，这是一个公认的心理学原理，描述了记忆的强度如何随着时间的推移而下降，MemoryBank进一步整合了一个动态记忆机制，密切反映了人类的认知过程。这种机制赋予AI记忆、选择性遗忘以及根据时间流逝加强记忆的能力，从而提供更自然、更吸引人的用户体验。具体来说，MemoryBank是建立在记忆存储的基础上，具有记忆检索和更新机制，能够总结过去的事件和用户的个性。MemoryBank是多功能的，因为它既可以容纳像ChatGPT这样的闭源法学硕士，也可以容纳像ChatGLM这样的开源法学硕士(Zeng et al .， 2022)或BELLE (Yunjie Ji & Li, 2023)。
为了举例说明MemoryBank的实际意义，我们开发了SiliconFriend，这是一个基于llm的AI伴侣聊天机器人，集成了这种创新的记忆机制。SiliconFriend旨在保留和参考过去的互动，加强MemoryBank在打造更有个性的人工智能伴侣方面的变革影响力。SiliconFriend的一个显著特点是，它对从各种在线资源中收集的38k个心理对话进行了调整，这使它能够表现出同理心、细心，并提供有用的指导，使其擅长处理充满情感的对话。此外，SiliconFriend的突出功能之一是通过总结过去的交互来了解用户的个性，从而使其能够根据用户的个人特征定制响应，从而增强用户体验。此外，SiliconFriend支持双语功能，以满足使用英语和中文交流的用户。这种多语言支持扩大了它在不同用户组中的可访问性和可用性。SiliconFriend由两个开源模型ChatGLM和BELLE以及一个闭源模型ChatGPT实现，展示了MemoryBank在适应不同llm方面的多功能性。

为了评估MemoryBank的