利用Qdrant和OpenAI实现自查询功能的实用指南

最新推荐文章于 2025-01-11 23:55:48 发布

llllllns

最新推荐文章于 2025-01-11 23:55:48 发布

阅读量598

点赞数 15

文章标签： python

本文链接：https://blog.csdn.net/llllllns/article/details/144290027

版权

引言

在现代数据处理趋势中，自然语言处理（NLP）和语义搜索的整合正在迅速发展。本篇文章旨在探讨如何在Qdrant和OpenAI的帮助下，实现自查询（self-querying）功能。通过利用这些技术，我们能够高效地在文档集合中执行语义搜索，并根据特定的元数据进行筛选。

主要内容

环境设置

为了使用Qdrant和OpenAI实现自查询，首先需要配置相关环境变量：

export QDRANT_URL= # 设置您的Qdrant实例的URL
export QDRANT_API_KEY= # 如果使用Qdrant Cloud，需要设置API密钥
export OPENAI_API_KEY= # 用于访问OpenAI模型

请注意，由于某些地区的网络限制，您可能需要考虑使用API代理服务来提高访问的稳定性。

安装和使用

首先，安装LangChain CLI工具：

pip install -U "langchain-cli[serve]"

接下来，创建一个新的LangChain项目并安装self-query-qdrant包：

langchain app new my-app --package self-query-qdrant

或者，您可以将其添加到现有项目中：

langchain app add self-query-qdrant

默认设置

在启动服务器之前，您需要创建一个Qdrant集合并索引文档。以下是初始化的代码：

from self_query_qdrant.chain import initialize

initialize()

还需在app/server.py文件中添加路由：

from self_query_qdrant.chain import chain

add_routes(app, chain, path="/self-query-qdrant")

自定义功能

您可以通过修改create_chain函数中的参数自定义模板：

from langchain_community.llms import Cohere
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain.chains.query_constructor.schema import AttributeInfo

from self_query_qdrant.chain import create_chain

chain = create_chain(
    llm=Cohere(),
    embeddings=HuggingFaceEmbeddings(),
    document_contents="Descriptions of cats, along with their names and breeds.",
    metadata_field_info=[
        AttributeInfo(name="name", description="Name of the cat", type="string"),
        AttributeInfo(name="breed", description="Cat's breed", type="string"),
    ],
    collection_name="cats",
)

代码示例

以下是一个完整的代码示例，实现了自定义文档集合的初始化和查询：

from langchain_core.documents import Document
from langchain_community.embeddings import HuggingFaceEmbeddings

from self_query_qdrant.chain import initialize

initialize(
    embeddings=HuggingFaceEmbeddings(),
    collection_name="cats",
    documents=[
        Document(
            page_content="A mean lazy old cat who destroys furniture and eats lasagna",
            metadata={"name": "Garfield", "breed": "Tabby"},
        ),
        # 更多文档...
    ]
)