LangChain（3）对话缓存方式 Conversational Memory

最新推荐文章于 2024-07-31 20:17:29 发布

小何才露尖尖角

最新推荐文章于 2024-07-31 20:17:29 发布

阅读量2.8k

点赞数

分类专栏： LLM Python 文章标签： langchain 缓存 memory

本文链接：https://blog.csdn.net/weixin_40994552/article/details/131730446

版权

Python 同时被 2 个专栏收录

55 篇文章 1 订阅

订阅专栏

LLM

15 篇文章 2 订阅

订阅专栏

文章介绍了在处理多轮对话时，如何为无状态的LLM（大型语言模型）添加上下文记忆。通过使用不同类型的缓存记忆，如ConversationBufferMemory（存储所有对话），ConversationSummaryMemory（对话总结），ConversationBufferWindowMemory（最近k轮对话）和ConversationSummaryBufferMemory（长期对话总结，近期对话完整记录），可以实现更智能的对话管理。这些方法有助于克服LLM在处理连续对话时的局限性。

摘要由CSDN通过智能技术生成

LLM 默认是无状态的，即询问当前的问题与上下文无关，当我们需要将多轮对话信息给到LLM 时，就需要使用缓存Memory。缓存方式有多种。

from langchain import OpenAI
from langchain.chains import ConversationChain

# first initialize the large language model
llm = OpenAI(
		temperature=0,
		openai_api_key="OPENAI_API_KEY",
		model_name="text-davinci-003" # 也可用gpt-3.5-turbo
		)

# now initialize the conversation chain 默认无缓存
conversation = ConversationChain(llm=llm)

# 方式1 ConversationBufferMemory： 会将之前所有对话都作为输入送到LLM中，受模型接受token数量的限制
from langchain.chains.conversation.memory import ConversationBufferMemory
conversation_buf = ConversationChain(
		llm=llm,
		memory=ConversationBufferMemory()
		)

# 方式2 ConversationSummaryMemory：将之前对话总结Summary后，加上新的询问query输入到LLM中
from langchain.chains.conversation.memory import ConversationSummaryMemory
conversation = ConversationChain(
		llm=llm,
		memory=ConversationSummaryMemory(llm=llm)
		)

# 方式3 ConversationBufferWindowMemory：将最近k轮对话，加上新的询问query输入到LLM中
from langchain.chains.conversation.memory import ConversationBufferWindowMemory
conversation = ConversationChain(
llm=llm,
memory=ConversationBufferWindowMemory(k=1)
)

# 方式4 ConversationSummaryBufferMemory：将很久之前的对话Summary，最近的对话保存全部送入LLM中
conversation_sum_bufw = ConversationChain(
llm=llm, memory=ConversationSummaryBufferMemory(
llm=llm,
max_token_limit=650
)

# 其它 Memory 类型
# ConversationKnowledgeGraphMemory
# ConversationEntityMemory