langchain加载本地词向量模型

凯尔哥

已于 2024-07-25 17:29:16 修改

阅读量631

点赞数 5

分类专栏：大模型文章标签： langchain 语言模型人工智能深度学习 transformer

于 2024-07-25 17:25:22 首次发布

本文链接：https://blog.csdn.net/weixin_43507865/article/details/140695549

版权

大模型专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1. 准备本地词向量模型

以从 huggingface 上下载BAAI/bge-m3模型为例

手动下载图片上的每一个文件（夹）。注意，是每一个文件（夹）都要下载。我就是少下载了一个1_Pooling 文件夹，结果在加载模型的时候一直报错，搞了大半天才找到原因。

2. 加载词向量模型

from langchain_community.embeddings import HuggingFaceBgeEmbeddings

model_name = "F:/llm/embedding_models/BAAI/bge-m3"
model_kwargs = {"device": "cpu"}
encode_kwargs = {"normalize_embeddings": True}
hf = HuggingFaceBgeEmbeddings(model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs)