vllm本地部署bge-m3模型API服务实战教程

原创 已于 2025-05-20 12:40:52 修改 · 1.9k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#embedding #linux

于 2025-05-19 21:32:32 首次发布

在这里插入图片描述

文章目录

一、说明

本文主要介绍vllm本地部署bge-m3模型API服务实战教程

本文是在Ubuntu24.04+CUDA12.8+Python3.12环境下复现成功的

二、配置环境

2.1 安装虚拟环境

我使用的是mininconda3，如果还不会使用虚拟环境，可以参考Miniconda管理python环境 - CSDN App

创建虚拟环境：

conda create -n bge python=3.12

2.2 安装vllm

安装之前，我们先进入刚才创建的虚拟环境：

conda activate bge

在下载vllm:

pip install vllm

2.3 对应版本的pytorch安装

查看CUDA版本：

nvcc --version

我的CUDA版本:

最低0.47元/天 解锁文章

200万优质内容无限畅学
本地部署Embedding模型API服务的实战教程
herosunly的博客
02-28 9万+
本文主要介绍了本地部署Embedding模型API服务的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型 3. 运行代码 3.1 启动模型服务 3.2 调用代码
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调
丨汀、的博客
06-19 985
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[5]-高阶实战微调
使用 vLLM 单卡部署 bge-m3 + deepseek-r1-1.5B
weixin_48131355的博客
05-17 924
gpu-memory-utilization GPU 内存使用率上限（范围：0-1），0.9 表示使用 90% 的 GPU 内存。** 所以，在单卡部署多个模型时，最好预估所需显存大小 + 设置显存占比，即gpu-memory-utilization参数 **–trust-remote-code 允许执行模型仓库中的远程代码（BGE-M3 需要此选项）DeepSeek-R1-Distill-Qwen-1.5B占用：13530MiB。–max-model-len 模型支持的最大输入长度（Token 数）
私有化部署dify + DeepSeek-R1-Distill-Qwen-32B + bge-m3
xuebodx0923的博客
03-29 1609
Dify是一款开源的大语言模型(LLM)应用开发平台。对数百个模型的支持、直观的Prompt编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排。在linux环境中使用docker部署dify，vllm部署DeepSeek-R1，ollama部署bge-m3。unexpected character "%" in variable name near "%H:%M:%S\n。Not supported URL scheme http+docker。
ai之嵌入模型bge-m3:latest的本地部署
nalanxiaoxiao2011的博客
06-17 2233
ai之嵌入模型bge-m3:latest的本地部署
Didy知识库：ollama bge-m3 部署，并实现与dify平台对接
xiezhipu的博客
11-29 1万+
这几天为了写技术博客，各种组件可谓是装了卸，卸了装，只想复现一些东西，确保你们看到的东西都是可以复现的。（看在我这么认真的份上，求个关注啊，拜托各位观众老爷了。这不，为了实验在windows上docker里运行pytorch，把docker重装了。dify也得重装：Dify基础：Dify平台的本地化部署（含windows部署中，常见问题及解决方案）结果发现，这个模型注册这里，有了一些新东西：那咱可得好好玩一玩。
基于bge-m3的焊接垂直领域语义向量模型微调
m0_59163425的博客
01-12 2497
前言说实话，之前对语义向量模型并不看重，甚至还一度把语义向量模型和以word2vec为代表的词向量模型搞混，直到看了“大耳朵爱学习”发布的博文《RAG 高效应用指南：Embedding 模型的选择和微调》，才意识到语义向量模型对于RAG的重要意义，所以决定好好学习一下。向量模型简单介绍万物皆可 Embedding，尤其在推荐系统、自然语言处理以及计算机视觉等领域，它类似于“人类大脑感知神经”，承担着至关重要的角色。
使用Xinference部署向量化模型
Deadwalk的专栏
11-01 2407
在【课程总结】day24（下）：大模型部署调用(vLLM+LangChain)一文中，我们曾学习到大模型需要借助 vLLM 进行部署。本章我们将介绍另外一个较火的部署组件Xinference。Xinference 是一个高效的推理引擎，旨在加速深度学习模型的推理过程。它支持多种模型格式，并提供灵活的部署选项，适用于各种应用场景。
零基础实战：用 Docker 和 vLLM 本地部署 BGE-M3 文本嵌入模型
静心编程，禅意生活。
06-13 2062
BGE-M3是北京智源推出的多功能文本嵌入模型，支持跨语言语义匹配。利用Docker容器化和vLLM框架可高效部署该模型，实现本地运行的优势包括隐私保护、定制化和成本控制。通过配置Docker环境，使用vLLM官方镜像加载模型，并进行文本嵌入测试验证效果。该方案适合开发者快速验证模型能力，或集成到本地NLP流程中。
使用 vLLM 部署 bge-m3 / Qwen3-32B 模型（魔搭模型部署）
Lilk5的博客
05-14 2661
是一个高效的大型语言模型推理和服务系统，具有低延迟、高吞吐量的特点。支持 HuggingFace 格式的模型，并且可以通过简单的命令行启动服务。
使用deepseek和bge-m3搭建本地知识库
2401_85390073的博客
02-25 8784
想要在本地搭建知识库，需要提供一个本地运行大模型的环境，选择合适的推理大模型和Embedding模型，其次需要配置向量数据库用于知识的存储和检索，最后安装可视化交互工具方便使用。当然很多可视化交互工具本身也提供了默认的向量数据库配置，如anythingLLM。为了简化本地部署，这里就通过anythingLLM来完成模型和向量数据库的配置。集成步骤如下：安装Ollama→下载DeepSeek和Embedding模型→安装anythingLLM→配置DeepSeek和Embedding模型。
【大模型-知识库之本地安装Embendding模型（BGE-M3）】
高克莱的博客
03-20 2083
通过python进行文档内容的解析、分片、并调用Embendding模型（BGE-M3）将分片内容进行向量化，存入向量数据库中，其中向量转化可以使用开源的模型进行处理。
vllm本地部署bge-reranker-v2-m3模型API服务实战教程
2401_85252837的博客
05-20 1890
本文详细介绍了如何在Ubuntu 24.04环境下，使用CUDA 12.8和Python 3.12本地部署BAAI/bge-reranker-v2-m3模型的API服务。首先，通过Miniconda创建虚拟环境并安装vllm、对应版本的PyTorch以及flash_attn。随后，从魔搭社区下载bge-reranker-v2-m3模型，并配置CUDA环境。最后，通过命令行启动vLLM服务，并使用Python代码调用API进行验证。整个过程涵盖了环境配置、模型下载、服务启动及API调用，为开发者提供了完整的实
分享Embedding 模型微调的实现
python122_的博客
08-14 1266
1. 当前比较主流的Embedding开源模型有哪些？答：1. m3e(Moka Massive Mixed Embedding) 2. BAAI/bge-large-zh-v1.5。更多的开源模型评测榜单可见：\2. 模型的作用？答：通过词，句子或者上下文的向量生成，从而来实现更高效的语义检索，语言理解的相关任务。\3. 模型是如何捕获语义信息的？答：在训练的过程中，模型学习用来反映语义相似性的方式将向量分配给单词或序列。简言之，通过分析数据中的词共现模式来实现。
知识库智能体终极解决方案！Ollama+BGE-M3对接Vllm+Dify+本地DeepSeek大模型详细操作
最新发布
2401_85373396的博客
07-09 818
本文详细介绍了在Windows系统上部署Ollama大语言模型服务的完整流程。主要内容包括Ollama的下载安装、模型文件目录修改、模型选择与下载、端口号配置及Dify集成等关键步骤。文章特别提供了BGE-M3嵌入模型的测试方法，并解决了Dify集成时常见的端口配置问题。通过图文并茂的教程，帮助用户轻松实现本地大语言模型的部署与应用，为构建个性化AI智能体提供了完整解决方案。文末还附赠了大模型学习资源包，包含书籍、报告、视频等学习材料。
银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】
mizhiakk的博客
04-11 1496
银河麒麟v10（arm架构）部署Embedding模型bge-m3【简单版本】
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1702
AI菜鸟向前飞 — LLM简介
BGE家族新成员——下一代通用向量模型BGE-M3
热门推荐
Paper weekly
02-02 1万+
Highlight:BGE-M3支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（Multi-Lingual）BGE-M3最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（Multi-Granularity）BGE-M3同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景‍‍（Multi-Functionality）模型...
vllm部署bge-m3
03-21
### 部署 BGE-M3 模型使用 vLLM 的指南 为了成功部署 BGE-M3 模型并利用 vLLM 进行高效推理，以下是详细的说明： #### 1. 安装依赖项 在开始之前，确保已安装必要的工具和服务。可以通过以下命令全局安装 `deploy-cli-service` 工具[^3]： ```bash npm install deploy-cli-service -g ``` 此外，还需要配置 Docker 环境来运行 MySQL、Seilisearch 和 Milvus 数据库服务[^2]。 --- #### 2. 下载和准备 BGE-M3 模型 访问 ModelScope 平台获取最新的 BGE-M3 模型文件[^1]。下载完成后将其解压到指定目录，例如 `/models/bge-m3/`。 --- #### 3. 初始化 vLLM 环境 vLLM 是一种高效的大型语言模型推理框架，支持多种模型加载方式。初始化环境前需确认 Python 版本不低于 3.8，并通过 pip 安装 vLLM 库： ```bash pip install vllm ``` --- #### 4. 加载 BGE-M3 模型至 vLLM 创建一个脚本来启动 vLLM 推理服务器并将 BGE-M3 模型加载其中。示例代码如下： ```python from vllm import LLM, SamplingParams # 设置采样参数 sampling_params = SamplingParams(temperature=0.8, top_p=0.95) # 加载 BGE-M3 模型 model_path = "/models/bge-m3/" llm = LLM(model=model_path) # 测试生成功能 output = llm.generate(["你好，世界"], sampling_params=sampling_params) print(output) ``` 上述代码会加载本地路径中的 BGE-M3 模型，并测试其基本生成能力。 --- #### 5. 启动 vLLM HTTP API 服务 如果希望将模型作为 RESTful API 提供外部调用，则可以启用 vLLM 内置的 HTTP 服务。执行以下命令即可完成设置： ```bash vllm-serving --model /models/bge-m3/ ``` 此操作会在默认端口 (通常是 8000) 上暴露接口，允许客户端发送请求并与模型交互。 --- #### 6. 整合其他组件 对于更复杂的场景，可能需要结合 Seilisearch 或 Milvus 来管理向量数据库以及结构化数据存储。这些工具可通过 Docker Compose 文件轻松集成到现有架构中。 --- ### 注意事项 - **硬件需求**: 考虑到 BGE-M3 属于大规模预训练模型，在实际部署过程中应确保有足够的 GPU 显存资源可用。 - **性能优化**: 可尝试调整批处理大小(batch size)，序列长度(sequence length)等超参以进一步提升吞吐率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值