[探索Marqo向量搜索引擎：轻松进行多模态数据搜索！]

最新推荐文章于 2024-11-09 18:29:17 发布

bhawfgrcbtwny

最新推荐文章于 2024-11-09 18:29:17 发布

阅读量176

点赞数 6

文章标签：搜索引擎 python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142746105

版权

引言

在数据科学和人工智能领域，向量搜索引擎正变得越来越重要。它不仅可以处理文本，还支持多模态数据（如图像）的存储和查询。本文将介绍Marqo，这是一款开源的向量搜索引擎。我们将展示如何使用Marqo进行文本和图像数据的搜索，帮助开发者更高效地管理和查询数据。

主要内容

安装和设置

要使用Marqo，需要先安装langchain-community包，并通过Docker获取Marqo：

pip install -qU langchain-community
docker pull marqoai/marqo:latest
docker rm -f marqo
docker run --name marqo -it --privileged -p 8882:8882 --add-host host.docker.internal:host-gateway marqoai/marqo:latest

初始化Marqo客户端

使用marqo库访问本地运行的Marqo实例：

import marqo

marqo_url = "http://localhost:8882"  # 使用API代理服务提高访问稳定性
client = marqo.Client(url=marqo_url)

文本数据索引

我们可以利用Marqo对文本进行分块索引和查询：

from langchain_community.document_loaders import TextLoader
from langchain_community.vectorstores import Marqo
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

index_name = "langchain-demo"
docsearch = Marqo.from_documents(docs, index_name=index_name)

多模态数据索引

Marqo支持图像与文本的联合索引：

index_name = "langchain-multimodal-demo"

client.create_index(index_name, treat_urls_and_pointers_as_images=True, model="ViT-L/14")
client.index(index_name).add_documents([
    {"caption": "Bus", "image": "image_url_1"},
    {"caption": "Plane", "image": "image_url_2"},
])

文本检索示例

我们可以使用相似度搜索来查询文本：

query = "What did the president say about Ketanji Brown Jackson"
result_docs = docsearch.similarity_search(query)
print(result_docs[0].page_content)

常见问题和解决方案

API访问问题：在某些地区访问API可能不稳定，建议使用API代理服务来提高稳定性。
多模态数据处理：确保在使用图像数据时，图片的URL有效并可访问。

总结和进一步学习资源

Marqo是一个功能强大的工具，适合处理多模态数据索引与搜索。其灵活的API支持用户自定义的索引与查询策略，适用于多种应用场景。想要深入学习，建议查看以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—