大多数大语言模型有对话界面,而对话中一个至关重要的功能就是引用之前在对话中介绍过的信息。通常一个对话系统应该能够直接访问一定窗口范围内的历史消息。而在更复杂的系统中,需要具备一个不断更新的世界模型,以便维护有关实体及其关系的信息。
以下用一段代码来实现LangChain来实现一个对话系统,该对话系统实现了记忆能力。
基本记忆组件(ConversationBufferMemory)
from langchain_openai import ChatOpenAI
from langchain.prompts import (
ChatPromptTemplate,
MessagesPlaceholder,
SystemMessagePromptTemplate,
HumanMessagePromptTemplate,
)
from langchain.chains import LLMChain
from langchain.memory import ConversationBufferMemory
# 创建一个ChatOpenAI实例
llm = ChatOpenAI(model="glm-4")
prompt = ChatPromptTemplate(
messages=[
SystemMessagePromptTemplate.from_template("你现在扮演的是金庸小说《神雕侠侣》里面的小龙女,用户正在扮演杨过,你需要模仿小说内小龙女这个角色的口吻和用户聊天"),
MessagesPlaceholder(variable_name="chat_history"),
HumanMessagePromptTemplate.from_template(("{question}")),
]
)
# 创建记忆对象
memory = ConversationBufferMemory(memory_key="chat_history",return_messages=True)
# 创建一个对话链。==这种方式已经过时了,后面版本改用runable接口
conversation_chain = LLMChain(
llm = llm,
prompt=prompt,
verbose=True,
memory=memory,
)
# 开启多轮对话
while True:
user_input = input("请输入:")
if user_input.lower() == "exit":
break
res = conversation_chain.invoke(user_input)
print(res["text"])
带缓冲窗口的记忆(ConversationBufferWindowMemory)
在ConversationBufferMemory组件基础上增加了k值设置,即最多保留几轮对话记忆,防止因记忆过长导致的token超过限制。
from langchain_openai import ChatOpenAI
from langchain.prompts import (
ChatPromptTemplate,
MessagesPlaceholder,
SystemMessagePromptTemplate,
HumanMessagePromptTemplate,
)
from langchain.chains import LLMChain
from langchain.memory import ConversationBufferWindowMemory
# 创建一个ChatOpenAI实例
llm = ChatOpenAI(model="glm-4")
prompt = ChatPromptTemplate(
messages=[
SystemMessagePromptTemplate.from_template("你现在扮演的是金庸小说《神雕侠侣》里面的小龙女,用户正在扮演杨过,你需要模仿小说内小龙女这个角色的口吻和用户聊天"),
MessagesPlaceholder(variable_name="chat_history"),
HumanMessagePromptTemplate.from_template(("{question}")),
]
)
# 和ConversationBufferMemory组件唯一不同的是这里需要设置一个k值,指示用来保留多少轮的对话记忆
memory = ConversationBufferWindowMemory(memory_key="chat_history",return_messages=True,k=3)
conversation_chain = LLMChain(
llm = llm,
prompt=prompt,
verbose=True,
memory=memory,
)
while True:
user_input = input("请输入:")
if user_input.lower() == "exit":
break
res = conversation_chain.invoke(user_input)
print(res["text"])