探索Zep：AI助手的长期记忆服务

最新推荐文章于 2025-01-23 23:50:20 发布

jaioyfpo

最新推荐文章于 2025-01-23 23:50:20 发布

阅读量648

点赞数 21

文章标签：人工智能 python

本文链接：https://blog.csdn.net/jaioyfpo/article/details/144336604

版权

探索Zep：AI助手的长期记忆服务

在现代AI助手的开发中，能够记住和理解过去的对话历史是一个巨大的优势。Zep作为一种长期记忆服务，为AI助手应用提供了这个能力。本文将引导你通过Zep的功能，使用示例代码来展示如何加载和处理文档，并解决在使用过程中可能遇到的问题。

1. 引言

AI助手需要处理大量信息，并在必要时从中提取相关内容。Zep通过降低幻觉、延迟和成本，增强了这种能力。本文旨在探讨如何使用Zep服务为AI助手实现这种持久的记忆能力。

2. 主要内容

2.1 部署Zep服务

Zep可以通过开源项目进行本地部署，也可以使用Zep Cloud来简化服务的安装与管理。有关在本地部署的详细信息，请参阅Zep Open Source Docs。

2.2 文档自动嵌入

Zep提供了自动嵌入功能，使用独特的低延迟模型在服务器上嵌入文档，极大简化了文档预处理的复杂性。

2.3 创建和加载文档集合

from uuid import uuid4
from langchain_community.document_loaders import WebBaseLoader
from langchain_community.vectorstores import ZepVectorStore
from langchain_community.vectorstores.zep import CollectionConfig
from langchain_text_splitters import RecursiveCharacterTextSplitter

ZEP_API_URL = "http://localhost:8000"  # 使用API代理服务提高访问稳定性
collection_name = f"babbage{uuid4().hex}"

config = CollectionConfig(
    name=collection_name,
    is_auto_embedded=True,
    embedding_dimensions=1536,
)

article_url = "https://www.gutenberg.org/cache/epub/71292/pg71292.txt"
loader = WebBaseLoader(article_url)
documents = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=500)
docs = text_splitter.split_documents(documents)

vs = ZepVectorStore.from_documents(
    docs, collection_name=collection_name, config=config, api_url=ZEP_API_URL
)

以上代码演示了如何从文档创建集合并加载到Zep中，从而进行自动化的低延迟嵌入。

3. 代码示例

3.1 监控嵌入状态

from zep_python import ZepClient
import time

async def wait_for_ready(collection_name: str) -> None:
    client = ZepClient(ZEP_API_URL)
    
    while True:
        c = await client.document.aget_collection(collection_name)
        print(f"Embedding status: {c.document_embedded_count}/{c.document_count}")
        time.sleep(1)
        if c.status == "ready":
            break

await wait_for_ready(collection_name)