RAG系统环境搭建[Dify+xinference+vllm+rerank(bge-reranker-large)+embedding(bge-large-zh-v1.5 )+deepseek]

已于 2025-02-25 10:50:10 修改
阅读量1.9k 收藏 29
点赞数 28
文章标签： embedding 人工智能
于 2025-02-25 10:25:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50112300/article/details/145844803
版权

RAG系统环境搭建实战教程

目录

目录

Dify 服务器ECS-1

Rerank模型 | Embedding模型 | 服务器ECS-2 

服务器环境:

模型选用及启动模型工具 

cuda 安装

xinference安装使用

bge-reranker-large 部署

Deepseek模型 | 服务器ECS-3

服务器环境:

模型选用及启动模型工具 

环境版本选定

Duda | Driver 安装

Python 安装 及相关依赖安装

Vllm安装

  • 技术栈概要

模块

官网地址

描述

模型应用开发平台

dify

集成大模型,可以进行创建流程,智能体,聊天助手等功能的一个平台 页面

llm模型

deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

源自Qwen-2.5 系列

Rerank模型

BAAI/bge-reranker-large

知识库检索模型-对检索结果重排序

text embedding模型

BAAI/bge-large-zh-v1.5

知识库构建时使用的文本向量化模型

vllm

vllm

vLLM 是一个快速且易于使用的库，专为大型语言模型 (LLM) 的推理和部署而设计。

xinference

 xinference 大模型部署与分布式推理框架

  • 安装部署

Dify 服务器ECS-1

最低0.47元/天 解锁文章
【ai】Easy-RAG 6：安装bge-reranker-large、 成功部署并通过frpc访问
突围
07-26 892
ERROR: No matching distribution found for dateutil.tz
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
丨汀、的博客
08-16 6647
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
Xinference+Dify本地部署全攻略：知识库搭建与模型配置详解(附一键安装包)
apo0625的博客
03-09 3404
不需要再去下载docker镜像，只需要点击Xinference.exe 即可启动xinference服务 且已经包含离线embedding+rerank模型，无需担心网络问题下载失败
XInference部署Rerank模型、Embedding模型
weixin_67327688的博客
02-21 3723
要先。
Dify+华为昇腾服务器配置embedding与rerank模型服务
susu_l_hx的博客
01-15 3135
现在基于RAG的大模型服务太火了。做RAG除了LLM以外，就离不开embedding和rerank模型，因此官方昇腾社区已经更新了相关镜像，发现容器不能正常启动，docker ps -a显示容器exited，手动启动也没有办法成功。
使用 dify + vllm 创建一个AI应用
Michael是个半路程序员
11-28 8678
本文基于 dify 和 vllm 部署的本地大模型，创建了一个修复python代码的 LLM 应用
昇腾920B2成功运行bge-large-zh-v1.5后（text embeddings inference方式，也被称为TEI），如何注册到dify？（含代码）
xiezhipu的博客
12-09 3083
是一个专门针对中文优化的大型预训练语言模型。它基于BERT架构进行了改进，可以生成高质量的文本嵌入向量，这些向量能够捕捉文本的语义信息，广泛应用于各种NLP任务。
使用大模型检索增强 Rerank 模型，检索效果提升太明显了！
2201_75499313的博客
01-28 6387
RAG 是一种结合了信息检索和文本生成的语言模型技术。简单来说，当你向大语言模型（LLM）提出一个问题时，RAG 首先会在一个大型的文档集合中寻找相关信息，然后再基于这些信息生成回答。Rerank 的工作就像是一个智能的筛选器，当 RAG 从文档集合中检索到多个文档时，这些文档可能与你的问题相关度各不相同。有些文档可能非常贴切，而有些则可能只是稍微相关或者甚至是不相关的。这时，Rerank 的任务就是评估这些文档的相关性，然后对它们进行重新排序。它会把那些最有可能提供准确、相关回答的文档排在前面。
BAAI bge-reranker-large模型的配置与环境要求
gitblog_02287的博客
01-18 693
BAAI bge-reranker-large模型的配置与环境要求 bge-reranker-large 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/bge-reranker-...
BAAI/bge-reranker-large的安装与使用教程
gitblog_02722的博客
12-12 3264
BAAI/bge-reranker-large的安装与使用教程 bge-reranker-large 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/bge-reranker-la...
使用国内阿里云modelscope镜像 部署bge-reranker-base模型的兼容openAI接口的web程序
05-28
使用国内阿里云modelscope镜像 部署bge-reranker-base模型的兼容openAI接口的web程序 可用app.py启动，也可以打包镜像启动 教程文章 https://tarzan.blog.csdn.net/article/details/138711273
基于deepseek搭建RAG系统-环境搭建实战教程
02-25
- 部署bge-reranker-large 和 bge-large-zh-v1.5 等大型语言模型，这些模型能够在中文环境下提供高质量的检索增强功能。 - 确定环境版本，保证系统兼容性和稳定性。 - 安装Duda和Driver，以及Python及其相关依赖，...
【大模型】使用 Xinference 部署本地模型，从GPU服务器到本地知识库搭建Dify【LLM大语言模型（glm-4-9b-chat）、Rerank 模型、Embedding（向量）模型】
热门推荐
起而行动，方能平定心中的惶恐
09-04 1万+
本文会用到博主写的一些线上脚本，如果搭建者时纯内网的话，可能需要手动压缩镜像，然后解压镜像，才能正常部署本文从GPU服务器获取、到 nvidia-docker的安装、再到Xinference 部署私有化三个模型，最后搭建dify（供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用）、最后再配置实例dify，配置dify实例，整合三个模型，最后实现知识库搭建。
Dify知识库：使用Dify与BGE-M3搭建RAG（检索增强生成）应用
xiezhipu的博客
12-01 4128
RAG 是 “Retrieval-Augmented Generation” 的缩写，这一术语首次由Facebook AI Research (FAIR)团队在2020年提出，并在他们发表的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中得到了详细的介绍和解释。
Docker部署Dify+vLLM+Ollama+nginx
pl1915080122的博客
03-20 1270
纯Docker部署Dify+vLLM+Ollama+Nginx
新手指南：快速上手BGE-Reranker-Large模型
gitblog_02584的博客
12-19 1484
新手指南：快速上手BGE-Reranker-Large模型 bge-reranker-large 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/bge-reranker-larg...
Dify - 配置 vllm 模型
AI工程化、开源分享、文档翻译、代码笔记
03-19 1173
vllm serve 的模型，Dify 配置的时候，应选择
dify部署RERANK模型
最新发布
swj868的博客
04-10 1176
此处模型名称和模型UID相同，我们的xinference是在docker容器内的，所以，服务器URL是：http://host.docker.internal:9997。3.浏览器输入：http://localhost:9997 即可访问。先创建一个xinference用于保存Xinference。xinference会自动配置RERANK。5.dify配置RERANK模型。4.下载RERANK模型。
bge-reranker-large 部署
02-25
### 部署 `bge-reranker-large` 模型 #### 准备环境 为了成功部署 `bge-reranker-large` 模型，需先安装必要的依赖库。推荐使用虚拟环境来管理项目中的Python包。 ```bash python3 -m venv rerank_env source rerank_env/bin/activate # Linux or macOS rerank_env\Scripts\activate # Windows ``` 接着更新pip并安装transformers和其他必需的工具： ```bash pip install --upgrade pip pip install transformers torch sentence-transformers faiss-cpu ``` #### 加载模型 通过Hugging Face Transformers加载预训练好的 `bge-reranker-large` 模型实例化对象[^1]。 ```python from sentence_transformers import SentenceTransformer, util model_name = "BAAI/bge-reranker-large" model = SentenceTransformer(model_name) ``` #### 接口封装 创建一个简单的API接口用于接收查询请求并将返回的结果传递给客户端应用。这里可以采用Flask框架快速搭建RESTful服务端点[^2]。 ```python from flask import Flask, request, jsonify app = Flask(__name__) @app.route('/api/rerank', methods=['POST']) def rerank(): data = request.json queries = data.get('queries') docs = data.get('docs') if not queries or not docs: return jsonify({"error": "Missing input"}), 400 scores = model.rerank(queries=queries, documents=docs) response = {"scores": scores} return jsonify(response) if __name__ == '__main__': app.run(host='0.0.0.0', port=8080) ``` 上述代码片段展示了如何基于Flask构建基本的服务结构，并定义了一个处理重排序任务的HTTP POST方法。当接收到包含待评估问题列表和文档集合的有效JSON负载时，该函数会调用模型执行重排序操作并以JSON格式响应分数矩阵[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值