【大模型-知识库之本地安装Embendding模型(BGE-M3)】

通过python进行文档内容的解析、分片、并调用向量模型将分片内容进行向量化,存入向量数据库中,其中向量转化可以使用开源的模型进行处理。

拉取模型

1.安装Ollama

访问Ollama官网下载并安装适用于本地操作系统的版本。

在这里插入图片描述

下载安装包后,执行安装程序,一直确认默认选项下一步就好。

在这里插入图片描述

安装完成后,在命令提示符或终端中执行:

ollama

显示如下即安装成功。

在这里插入图片描述

2.拉取BGE-M3模型

访问ollama官网,搜索BGE-M3模型,复制下载命令在命令提示符或终端中执行,等待下载,时间较长。

ollama pull bge-m3

在这里插入图片描述

等待模型下载完成,可通过 ollama list 验证是否安装成功‌

ollama list

在这里插入图片描述

本地通过python 调用BGE-M3模型,将内容进行向量化

在Pycharm的终端中安装 langchain-community 库

pip install langchain-community

在这里插入图片描述

此外,OllamaEmbeddings 可能依赖于其他库,具体取决于 langchain-community的实现细节。如果安装后遇到缺少其他库的错误,可以根据错误提示继续安装相应的库。

# 导入 OllamaEmbeddings 类,用于生成文本嵌入向量。
from langchain_community.embeddings import OllamaEmbeddings

# 初始化嵌入模型,指定模型名称为 bge-m3
embeddings = OllamaEmbeddings(model="bge-m3")

# 定义待处理文本
text = "Hello World!"

# 调用 embed_query 方法生成嵌入向量
embedding = embeddings.embed_query(text)

# 打印生成的嵌入向量的前5维特征值。
print(embedding[:5])  

输出向量:

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值