fastGpt中索引模型M3E换为bge-m3,处理效率翻8倍

本文介绍了如何将fastgpt的依赖从CPU计算的M3E模型切换到使用GPU的bgem3,通过在服务器上安装相关依赖并启动BGE-M3脚本,实现了显著的效率提升。操作步骤包括创建目录、下载脚本、安装依赖和更新API地址。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

fastgpt自带的索引模型是M3E,因为它是依赖CPU做计算,导致速度非常慢。网上偶然发现可以用bgem3调用GPU做计算,效率提升了不少

操作步骤:

1、在服务器100.161.35.42新建目录/data/wenda/model/bgem3

2、在魔搭社区下载 git clone 魔搭社区

3、附件中的文件bge-m3.py放到/data/wenda/model/bgem3目录

4、安装依赖:pip install sentence-transformers -i Simple Index ,只要安装这一个依赖就行,因为前面已经安装好了fastgpt、docker等环境

5、执行bge-m3.py脚本启动bgem3,请从这里下载BGE-M3启动脚本 - 模板之家

微信图片_20240425162941.png

6、登陆one-api: http://127.0.0.1:18087,把旧的M3E地址http://127.0.0.1:6008修改为bgem3地址http://127.0.0.1:5000

图片.png

### 配置 Pro/BAAI/bge-m3 模型在 Ollama 中的方法 Ollama 是一种轻量级工具,允许用户运行大型语言模型并支持多种嵌入模型。以下是关于如何配置 Pro/BAAI/bge-m3 模型的具体说明。 #### 安装和设置 Ollama 首先需要安装 Ollama 工具。可以通过以下命令完成安装: ```bash brew install ollama ``` 或者对于 Linux 用户可以使用脚本安装: ```bash sh -c "$(curl https://ollama.ai/install.sh)" ``` 确认安装成功后,启动服务: ```bash ollama serve & ``` #### 下载 BAAI/bge-m3 或其变体模型 为了下载指定的模型(如 Pro/BAAI/bge-m3),需通过 `ollama pull` 命令获取该模型文件。假设目标模型名称为 `bge-pro-m3`,执行如下操作: ```bash ollama pull bge-pro-m3 ``` 此过程会自动从远程仓库拉取所需的模型权重文件[^1]。 #### 创建知识库并向其中导入数据 一旦模型被加载到 Ollama 当中,则可进一步构建知识库来存储文档集合以便后续查询。具体步骤包括定义索引结构以及上传待处理的数据集至服务器端接口。 利用 REST API 接口实现这一功能非常便捷高效。例如下面展示了一个简单的 POST 请求例子用于新增记录条目进入数据库表单里: ```json POST /collections/{collection_name}/documents HTTP/1.1 Host: localhost:8080 Content-Type: application/json { "id": "doc_1", "data": "This is an example document." } ``` 这里 `{collection_name}` 应替换为你实际使用的集合名字;而 `"data"` 字段则代表要保存的内容字符串形式表示法[^2]。 #### 调整参数优化性能表现 当涉及到高精度需求场景下推荐选用更高级别的版本比如 'Pro' 类型产品线下的子型号实例即 `Pro/BAAI/bge-m3` 可能带来更好的效果体验[^3] 。与此同时还可以调整一些额外选项来自定义行为模式满足特定业务逻辑要求 ,像 batch size 大小设定、GPU 加速启用状态等等均会影响最终呈现出来的质量水平差异程度不一 。 ---
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值