[探索Milvus：如何使用自我查询检索器管理大规模向量数据]

最新推荐文章于 2025-05-04 23:08:12 发布

tt_jishu

最新推荐文章于 2025-05-04 23:08:12 发布

阅读量503

点赞数 3

文章标签： milvus python

本文链接：https://blog.csdn.net/tt_jishu/article/details/142430400

版权

探索Milvus：如何使用自我查询检索器管理大规模向量数据

引言

Milvus作为一款开源的向量数据库，特别适合存储、索引和管理由深度神经网络和其他机器学习模型生成的大规模嵌入向量。在本文中，我们将演示如何使用Milvus向量存储和自我查询检索器（SelfQueryRetriever）来增强数据检索能力。

主要内容

创建Milvus向量存储

首先，我们需要创建一个Milvus向量存储并为其准备初始数据集。在本例中，我们将使用一组电影摘要作为数据集。

环境准备

我们使用Milvus的云版本，因此需要uri和token。此外，自我查询检索器需要安装lark和langchain_milvus包。

%pip install --upgrade --quiet lark langchain_milvus

我们还需要获取OpenAI API密钥以使用OpenAI嵌入：

import os
from langchain_core.documents import Document
from langchain_milvus.vectorstores import Milvus
from langchain_openai import OpenAIEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = OpenAIEmbeddings()
os.environ["OPENAI_API_KEY"] = "使用你的OpenAI密钥:)"

构建文档列表并创建向量存储

docs = [
    Document(page_content="科学家带回恐龙，引发混乱", metadata={"year": 1993, "rating": 7.7, "genre": "action"}),
    Document(page_content="莱昂纳多·迪卡普里奥在梦中迷失", metadata={"year": 2010, "genre": "thriller", "rating": 8.2}),
    # 更多文档...
]

vector_store = Milvus.from_documents(
    docs,
    embedding=embeddings,
    connection_args={"uri": "使用你的uri:)", "token": "使用你的token:)"},
)

实例化自我查询检索器

为了实现自我查询功能，我们需要提供一些关于文档元数据的信息以及一个简短的文档内容描述。

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(name="genre", description="电影类型", type="string"),
    AttributeInfo(name="year", description="电影上映年份", type="integer"),
    AttributeInfo(name="rating", description="电影评分", type="float"),
]

document_content_description = "电影简要总结"
llm = OpenAI(temperature=0)

retriever = SelfQueryRetriever.from_llm(
    llm, vector_store, document_content_description, metadata_field_info, verbose=True
)

代码示例

让我们尝试使用我们的检索器来执行查询。

# 执行查询以检索与恐龙相关的电影
result = retriever.invoke("哪些电影是关于恐龙的？")
print(result)

常见问题和解决方案

网络限制与解决方案

由于某些地区的网络限制，开发者可能需要通过API代理服务来提高访问稳定性。这可以通过配置API调用的方式实现。

向量存储性能

对于大型数据集，Milvus的性能可能会受到硬件和配置的影响。建议根据数据规模优化Milvus的配置，并确保适当的硬件支持。

总结和进一步学习资源

Milvus提供了一种强大且灵活的存储解决方案，适用于需要高性能向量检索的场景。通过结合OpenAI的嵌入和自我查询检索器，用户可以大大增强数据分析能力。

进一步学习资源

参考资料

Milvus官方文档
OpenAI API文档
Langchain开源项目

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—