本文是LLM系列文章,针对《MemGPT: Towards LLMs as Operating Systems》的翻译。
MemGPT:将LLM作为操作系统
摘要
大型语言模型(LLM)已经彻底改变了人工智能,但受到有限上下文窗口的限制,阻碍了它们在扩展对话和文档分析等任务中的实用性。为了能够在有限的上下文窗口之外使用上下文,我们提出了虚拟上下文管理,这是一种从传统操作系统中的分层内存系统中汲取灵感的技术,通过在快内存和慢内存之间的数据移动来提供大内存资源的外观。使用此技术,我们介绍了MemGPT(Memory GPT),这是一个智能管理不同内存层的系统,以便在LLM的有限上下文窗口内有效地提供扩展上下文,并利用中断来管理其自身和用户之间的控制流。我们在两个领域评估了我们受操作系统启发的设计,在这两个领域,现代LLM的有限上下文窗口严重阻碍了它们的性能:文档分析,其中MemGPT能够分析远远超过底层LLM上下文窗口的大型文档,以及多会话聊天,在多会话聊天中,MemGPT可以创建会话代理,并通过与用户的长期互动而动态发展。我们在https://memgpt.ai上发布我们的实验MemGPT代码和数据。