Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models

本文是LLM系列文章，针对《Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models》的翻译。

摘要

大多数开放领域对话系统都会忘记重要信息，尤其是在长期对话中。现有的工作通常训练特定的检索器或汇总器从过去获得关键信息，这是耗时的，并且高度依赖于标记数据的质量。为了缓解这个问题，我们建议使用大型语言模型（LLM）递归生成摘要/内存，以增强长期记忆能力。具体来说，我们的方法首先刺激LLM记忆小的对话上下文，然后使用以前的记忆和下面的上下文递归地产生新的记忆。最后，LLM可以在最新内存的帮助下轻松生成高度一致的响应。我们使用ChatGPT和text-davinci-003评估了我们的方法，在广泛使用的公共数据集上的实验表明，我们的方法可以在长上下文对话中产生更一致的响应。值得注意的是，我们的方法是一种潜在的解决方案，可以使LLM对超长上下文进行建模。稍后将发布代码和脚本。

1 引言

2 任务定义

3 方法

4 实验

5 主要结果

6 分析

7 结论

在本文中，我们提出了一种简单有效的策略，通过递归总结来提高LLM中的长期对话能力。实验结果表明了该方法的有效性和通用性。额外的分析表明，该方法可以通过上下文学习得到进一步的增强。
未来的工作包括1）探索我们的方法对更长上下文任务（例