可以利用消息历史记录类来封装我们的模型,从而赋予其保持状态的能力。这将使得模型的输入和输出能够被追踪,并存储在特定的数据存储中。在后续的交互过程中,这些历史消息会被重新加载,并作为输入的一部分参与到处理流程中。让我们来看看具体的实现方法吧!
首先,我们需要确保已安装langchain-community库,因为我们将会用到该库中的相关功能来管理消息的历史记录。
安装
pip install langchain_community
消息历史
我们可以导入相关的类来设置一个包装模型,并且添加一个处理消息历史记录的功能。这里的核心在于我们所使用的函数get_session_history。这个函数应当接收一个session_id参数,并据此返回对应的消息历史记录对象。session_id的作用是区分不同的对话会话,因此当初始化一个新的处理链时,需要将其作为配置的一部分传入。
from langchain_core.chat_history import (
BaseChatMessageHistory,
InMemoryChatMessageHistory,
)
from langchain_core.runnables.history import RunnableWithMessageHistory
store = {}
def get_session_history(session_id: str) -> BaseChatMessageHistory:
if session_id not in store:
store[session_id] = InMemoryChatMessageHistory()
return store[session_id]
with_message_history = RunnableWithMessageHistory(chain, get_session_history)
现在我们需要创建一个配置对象,每次都将它传递给Runnable。这个配置对象包含的信息虽然不属于直接的输入数据,但是对处理过程来说仍然是必要的。在这个例子中,我们需要包含一个session_id。具体实现如下所示:
from langchain_core.chat_history import (
BaseChatMessageHistory,
InMemoryChatMessageHistory,
)
from langchain_core.runnables.history import RunnableWithMessageHistory
store = {}
def get_session_history(session_id: str) -> BaseChatMessageHistory:
if session_id not in store:
store[session_id] = InMemoryChatMessageHistory()
return store[session_id]
with_message_history = RunnableWithMessageHistory(chain, get_session_history)
管理对话
在构建聊天机器人时,一个重要的概念是对话历史记录的管理。如果不进行适当的管理,消息列表可能会无限制地增长,最终导致超出语言模型所能处理的上下文长度限制。因此,添加一个控制传入消息数量或大小的机制是非常关键的。
LangChain 提供了一些内置的工具来帮助管理消息列表。可以运用trim_messages助手来限制发送给模型的消息数量。这个修剪工具允许我们设定要保留的最大标记数,以及其他选项,比如是否始终保留系统消息,以及是否允许分割消息以适应上下文长度限制。
from langchain_core.messages import SystemMessage, trim_messages
trimmer = trim_messages(
max_tokens=15,
strategy="last",
token_counter=model,
include_system=True,
allow_partial=False,
start_on="human",
)
messages = [
SystemMessage(content="you're a good assistant"),
HumanMessage(content="hi! I'm bob"),
AIMessage(content="hi!"),
HumanMessage(content="I like vanilla ice cream"),
AIMessage(content="nice"),
HumanMessage(content="whats 2 + 2"),
AIMessage(content="4"),
HumanMessage(content="thanks"),
AIMessage(content="no problem!"),
HumanMessage(content="having fun?"),
AIMessage(content="yes!"),
]
trimmer.invoke(messages)