fastGpt中索引模型M3E换为bge-m3，处理效率翻8倍

最新推荐文章于 2025-04-17 20:46:55 发布
最新推荐文章于 2025-04-17 20:46:55 发布
阅读量4k 收藏 13
点赞数 10
文章标签： 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yncjxnc/article/details/138219049
版权
本文介绍了如何将fastgpt的依赖从CPU计算的M3E模型切换到使用GPU的bgem3，通过在服务器上安装相关依赖并启动BGE-M3脚本，实现了显著的效率提升。操作步骤包括创建目录、下载脚本、安装依赖和更新API地址。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

fastgpt自带的索引模型是M3E，因为它是依赖CPU做计算，导致速度非常慢。网上偶然发现可以用bgem3调用GPU做计算，效率提升了不少

操作步骤：

1、在服务器100.161.35.42新建目录/data/wenda/model/bgem3

2、在魔搭社区下载 git clone 魔搭社区

3、附件中的文件bge-m3.py放到/data/wenda/model/bgem3目录

4、安装依赖：pip install sentence-transformers -i Simple Index ，只要安装这一个依赖就行，因为前面已经安装好了fastgpt、docker等环境

5、执行bge-m3.py脚本启动bgem3，请从这里下载BGE-M3启动脚本 - 模板之家

微信图片_20240425162941.png

6、登陆one-api: http://127.0.0.1:18087，把旧的M3E地址http://127.0.0.1:6008修改为bgem3地址http://127.0.0.1:5000

图片.png

m3e是一种文本嵌入模型
强化学习曾小健
05-29 1603
m3e是一种文本嵌入模型,可以将自然语言转换成稠密向量表示。它支持同质文本相似度计算和异质文本检索等功能。
主流ai知识库工具FastGPT、Dify、Coze横评
热门推荐
weixin_69464412的博客
06-28 5万+
FastGPTFastGPT 是环界云计算公司旗下一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！DifyDify 是 苏州语灵人工智能科技公司的一款开源的大语言模型(LLM)应用开发平台。它融合了后端即服务（Backend as Service）和 LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。Coze。
fastGPT添加知识库文本索引模型m3e一直处于索引中怎么解决
10-27 2100
FastGPT 默认使用了 openai 的 embedding 向量模型，如果你想私有部署的话，可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型，资源使用不高，CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。
RAG系统召回率低？ BGE-M3 多语言多功能重塑文本检索
最新发布
m0_59163425的博客
04-17 2360
在大家做基于RAG问答系统的时候，嵌入模型的性能直接决定了系统的效率和准确性，当你的检索管道检索的命中率低导致问答系统效果不好怎么办？今天我们要深入探讨。
（RAG系列）FastGPT批量添加索引
qq_51047851的博客
01-16 887
根据知识库文档分块内容，提炼相对应的索引，制作索引文件 （xlsx文件）。注意索引要跟分块数量一一对应，不添加索引的把索引设置成 no，而且，该操作会直接覆盖已存在的索引，适用于还未添加索引的场景
FastGPT接入向量模型 M3E 和 重排模型 bge-reranker-large
总结复盘，才能不迷失自己！
01-18 1301
【代码】FastGPT接入M3E教程。
【大模型本地知识库搭建】ChatGLM3，M3E，FastGPT，One-API
Bowen_Ding_的博客
04-12 7414
本文技术路线为：利用ChatGLM3-6b作为基座大模型，M3E作为向量模型，基于FastGPT建立用户知识库，One-API做统一API接口管理。
三大知名向量化模型比较分析——m3e,bge,bce
东南草堂
07-16 3万+
BGE：在多语言支持、文本处理能力和检索精度方面表现优异，尤其适合需要高精度和高效率的场景。同时，其资源使用较为经济。M3E：专注于中文文本处理，具有强大的文本处理能力和灵活的部署选项，适合资源受限或需要私有化的应用场景。BCE：虽然具体细节较少，但其在RAG应用中的表现表明其具备一定的优势，可能适合特定的高精度需求场景。根据不同的应用需求和资源条件选择合适的模型会更加有效。
【LLM论文日更】｜ BGE-M3E embedding模型
qq_59084968的博客
10-10 1323
这篇论文提出的M3-Embedding模型在多语言检索、跨语言检索和多语言长文档检索任务中表现出色，展现了前所未有的多功能性和高效性。稀疏检索和多向量检索进一步提升了性能，最终的综合检索方法（All）表现最佳。：在MLDR和NarrativeQA数据集上的实验结果表明，M3-Embedding在长文档检索任务中表现出色，尤其是稀疏检索方法（Sparse）和多向量检索方法（Multi-vec）。：自知识蒸馏和多阶段训练的消融实验表明，自知识蒸馏显著提高了稀疏检索的性能，多阶段训练则进一步提升了整体检索质量。
安装Embendding模型（bge-m3）并且关联Dify
欲买桂花同载酒的博客
02-20 4237
在使用Dify进行知识库创建的时候，我们可以设置它的索引方式是高质量还是经济模式。如果想使用高质量的索引方式，就必须安装Embendding模型。下面我们来介绍下如何安装Embendding模型（bge-m3）并且将其关联到Dify平台。
deepseek私有化RAG思路 ollama 运行deepseek模型和向量化模型bge-m3，anything 实现喂数据到向量化数据库milvus，deepseek4j结合便可以实现RAG私有
03-14
BGE-M3作为当前多语言、多粒度、多功能语义向量模型的代表，不仅拓宽了语义向量模型的适用范围，还提高了其在实际应用中的性能和有效性。它的开源特性使得更多开发者能够利用这一技术，推动了向量化技术在多领域的...
BGE-M3 一个多功能、多语言、多粒度的语言向量模型
weixin_41046245的博客
09-13 6320
密集检索: 通过将文本映射到单一嵌入向量进行检索，例如 DPR、BGE-v1.5。稀疏检索（词汇匹配）: 通过计算文本中出现的词元权重，常用模型如 BM25、unicoil、splade。多向量检索: 使用多个向量来表示文本，例如 ColBERT。
Dify知识库：使用Dify与BGE-M3搭建RAG（检索增强生成）应用
xiezhipu的博客
12-01 4286
RAG 是 “Retrieval-Augmented Generation” 的缩写，这一术语首次由Facebook AI Research (FAIR)团队在2020年提出，并在他们发表的论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中得到了详细的介绍和解释。
Fastgpt知识库接入oneapi和自定义大模型
qq_55051574的博客
05-08 5584
Fastgpt知识库接入oneapi和自定义大模型
完全体！本地大模型+知识库大功告成！让知识库可以存知识！fastgpt部署m3e嵌入模型！20/45
ouhuixiong的博客
12-13 4894
在这个例子中，我们运行的是一个名为m3e-large-api的镜像，版本为latest。上一篇，我们搭建了本地的知识库应用：fastgpt！然后给知识库搭好了桥(one api)，并且把本地部署的大模型Qwen-14B/chatglm3-6b接入了知识库！现在市场上已有大量的知识库/文档对话产品了，学会了这个部署，你基本了解到整个企业知识库部署的过程！我们在纯本地的环境搭建，涉及垂类大模型+嵌入模型的部署、docker部署，都搞掂后！今天跟着雄哥，把嵌入模型m3e，部署到GPU上，打造知识库完全体！
文本向量模型BGE与BGE-M3
beingstrong的博客
04-01 1万+
文本向量模型BGE与BGE-M3原理介绍
FastGPT部署接入 M3E和chatglm2-m3e文本向量模型
洛阳泰山的博客
04-24 3199
FastGPT 默认使用了 openai 的 embedding 向量模型，如果你想私有部署的话，可以使用 M3E 向量模型进行替换。M3E 向量模型属于小模型，资源使用不高，CPU 也可以运行。下面教程是基于 “睡大觉” 同学提供的一个的镜像。
m3e向量模型和向量检索原理概述-理解m3e向量模型的基本概念
洛阳泰山的博客
07-25 485
从基础的搜索引擎到先进的推荐系统，向量检索在信息检索中扮演着至关重要的角色。尤其是m3e向量模型，作为一种创新的向量表示方法，极大地提升了数据处理和信息检索的效率。本文将深入探讨m3e向量模型及其相关的向量检索原理，帮助您全面了解这一高效的信息检索技术。
fastGPT 接入Ollama 模型避坑指南
枫蓝驿的博客
07-16 7249
fastgpt+ollama知识库应用
ollama 如何设置Pro/BAAI/bge-m3模型
03-14
### 配置 Pro/BAAI/bge-m3 模型在 Ollama 中的方法 Ollama 是一种轻量级工具，允许用户运行大型语言模型并支持多种嵌入模型。以下是关于如何配置 Pro/BAAI/bge-m3 模型的具体说明。 #### 安装和设置 Ollama 首先需要安装 Ollama 工具。可以通过以下命令完成安装： ```bash brew install ollama ``` 或者对于 Linux 用户可以使用脚本安装： ```bash sh -c "$(curl https://ollama.ai/install.sh)" ``` 确认安装成功后，启动服务： ```bash ollama serve & ``` #### 下载 BAAI/bge-m3 或其变体模型 为了下载指定的模型（如 Pro/BAAI/bge-m3），需通过 `ollama pull` 命令获取该模型文件。假设目标模型名称为 `bge-pro-m3`，执行如下操作： ```bash ollama pull bge-pro-m3 ``` 此过程会自动从远程仓库拉取所需的模型权重文件[^1]。 #### 创建知识库并向其中导入数据 一旦模型被加载到 Ollama 当中，则可进一步构建知识库来存储文档集合以便后续查询。具体步骤包括定义索引结构以及上传待处理的数据集至服务器端接口。 利用 REST API 接口实现这一功能非常便捷高效。例如下面展示了一个简单的 POST 请求例子用于新增记录条目进入数据库表单里： ```json POST /collections/{collection_name}/documents HTTP/1.1 Host: localhost:8080 Content-Type: application/json { "id": "doc_1", "data": "This is an example document." } ``` 这里 `{collection_name}` 应替换为你实际使用的集合名字；而 `"data"` 字段则代表要保存的内容字符串形式表示法[^2]。 #### 调整参数优化性能表现 当涉及到高精度需求场景下推荐选用更高级别的版本比如 'Pro' 类型产品线下的子型号实例即 `Pro/BAAI/bge-m3` 可能带来更好的效果体验[^3] 。与此同时还可以调整一些额外选项来自定义行为模式满足特定业务逻辑要求 ，像 batch size 大小设定、GPU 加速启用状态等等均会影响最终呈现出来的质量水平差异程度不一 。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值