如何高效处理多重检索器以优化查询分析

sjufgwgfhoia

于 2024-10-03 19:00:19 发布

阅读量153

点赞数 2

文章标签：服务器数据库运维 python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142694693

版权

# 如何高效处理多重检索器以优化查询分析

在现代信息检索中，多重检索器的使用为我们提供了强大的查询分析能力。本篇文章将探讨如何在查询分析中选择适合的检索器。我们将通过一个简单的示例（使用模拟数据）展示如何实现这一点。

## 引言

在处理复杂查询时，选择合适的检索器可以极大提升信息提取的效率和准确性。本篇文章旨在帮助开发者理解如何实现多重检索器之间的选择和使用。

## 主要内容

### 1. 环境设置

首先，我们需要安装和配置使用的依赖包。

```bash
# %pip install -qU langchain langchain-community langchain-openai langchain-chroma

然后，设置环境变量以使用OpenAI的服务：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()

# 可选：用于LangSmith的追踪
# os.environ["LANGCHAIN_TRACING_V2"] = "true"
# os.environ["LANGCHAIN_API_KEY"] = getpass.getpass()

2. 创建索引

我们将基于一些虚假信息创建一个向量存储。

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings

texts_harrison = ["Harrison worked at Kensho"]
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore_harrison = Chroma.from_texts(texts_harrison, embeddings, collection_name="harrison")
retriever_harrison = vectorstore_harrison.as_retriever(search_kwargs={"k": 1})

texts_ankush = ["Ankush worked at Facebook"]
vectorstore_ankush = Chroma.from_texts(texts_ankush, embeddings, collection_name="ankush")
retriever_ankush = vectorstore_ankush.as_retriever(search_kwargs={"k": 1})

3. 查询分析

我们使用函数调用来构建输出，并能返回多个查询结果。

from typing import List, Optional
from langchain_core.pydantic_v1 import BaseModel, Field

class Search(BaseModel):
    query: str = Field(..., description="查询关键词")
    person: str = Field(..., description="查询人名")

from langchain_core.output_parsers.openai_tools import PydanticToolsParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import ChatOpenAI

output_parser = PydanticToolsParser(tools=[Search])
system = "你可以发布搜索查询来获取信息以帮助回答用户的问题。"
prompt = ChatPromptTemplate.from_messages([("system", system), ("human", "{question}")])
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
structured_llm = llm.with_structured_output(Search)
query_analyzer = {"question": RunnablePassthrough()} | prompt | structured_llm

代码示例

使用查询分析器来选择合适的检索器：

retrievers = {
    "HARRISON": retriever_harrison,
    "ANKUSH": retriever_ankush,
}

from langchain_core.runnables import chain

@chain
def custom_chain(question):
    response = query_analyzer.invoke(question)
    retriever = retrievers[response.person]
    return retriever.invoke(response.query)

print(custom_chain.invoke("where did Harrison Work"))
# [Document(page_content='Harrison worked at Kensho')]

print(custom_chain.invoke("where did ankush Work"))
# [Document(page_content='Ankush worked at Facebook')]