使用Hugging Face进行BGE模型的操作：深入指南

最新推荐文章于 2025-03-22 09:28:18 发布
最新推荐文章于 2025-03-22 09:28:18 发布
阅读量944 收藏 5
点赞数 11
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/srysduguho/article/details/144492710
版权

使用Hugging Face进行BGE模型的操作：深入指南

在现代AI研究中，嵌入模型是一个重要的组成部分。BGE（Beijing General Embeddings）模型，由北京智源人工智能研究院（BAAI）创建，是顶尖的开源嵌入模型之一。在这篇文章中，我们将介绍如何通过Hugging Face平台来使用BGE嵌入模型，并提供详细的代码示例、常见问题的解决方案，以及进一步学习的资源。

引言

嵌入模型在自然语言处理（NLP）任务中扮演着重要角色，能够将文本数据转换为数值表示，便于计算机理解和操作。本文旨在帮助你快速掌握如何使用Hugging Face获取和使用BGE模型进行嵌入生成。

主要内容

什么是BGE模型？

BGE模型是由北京智源人工智能研究院开发的优秀开源嵌入模型，适用于多种NLP任务。它具备强大的性能和广泛的适用性，通过Hugging Face平台，我们可以便捷地访问和使用这些模型。

安装和设置

首先，我们需要安装所需的Python包。你可以使用pip命令来安装sentence_transformers库：

%pip install --upgrade --quiet
最低0.47元/天 解锁文章
srysduguho
关注
你的BGE模型用对了吗？
Learning
01-13 2131
你的BGE模型用对了吗？
在Hugging Face上使用BGE模型进行文本嵌入
ppoojjj的博客
10-30 464
BGE模型为文本嵌入提供了强大且高效的解决方案。通过Hugging Face的接口，开发者可以轻松地集成这些模型并将其应用于各种NLP任务。
开发RAG应用，你必须知道的7个Embedding模型
python12345_的博客
06-28 6002
在自然语言处理（NLP）领域，Embedding模型是将文本数据转化为数值向量的核心技术，从而让计算机能够便捷地衡量文本间的语义关联，这种表示法已成为多种基础NLP任务的核心，如文本相似度判定、语义搜索、信息检索、文本重新排序、聚类以及作为下游任务的特征输入。
【向量模型】 开源通用向量模型BGE （BAAI General Embedding）
weixin_42430947的博客
03-09 1707
BGE为各类信息检索及大语言模型检索增强应用而打造，本文从多个维度详细解析 BGE 的特点与应用
深度学习模型bge-small-en-v1.5使用技巧分享
gitblog_02595的博客
01-08 347
深度学习模型bge-small-en-v1.5使用技巧分享 bge-small-en-v1.5 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/bge-small-en-v1.5 ...
在 Hugging Face 上使用 BGE 模型进行文本嵌入
最新发布
qahaj的博客
03-22 286
文本嵌入是自然语言处理（NLP）中的一项核心任务，它将文本转换为向量形式，使得模型能够理解和处理语言数据。北京智源人工智能研究院（BAAI）开发的 BGE 模型是当前开源社区中效果优异的嵌入模型之一。这篇文章将介绍如何通过 Hugging Face 接口来使用 BGE 嵌入模型。
bge-small-en-v1.5模型的安装与使用教程
gitblog_02629的博客
12-12 1541
bge-small-en-v1.5模型的安装与使用教程 bge-small-en-v1.5 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/bge-small-en-v1.5 ...
部署并使用bge
热门推荐
qq_42669117的博客
11-10 1万+
我们希望我们的问题能embedding10个最相关的句子。使用如下数据集（由于是公司整理，暂时不会提供给公众）这些数据我们录入到emb11_0918_3694.txt文件中。执行以后下列图片，即为下载成功。使用命令：git clone。
[深入探索BGE模型：在Hugging Face上使用AI嵌入的全面指南]
ppoojjj的博客
12-04 454
BGE模型在文本嵌入方面提供了强大的功能。通过Hugging Face平台的支持，开发者能够轻松地在各种NLP任务中采用这些模型。Hugging Face官方文档BAAI研究文章和报道自然语言处理的基础知识。
【深入探讨BGE模型：利用Hugging Face进行高效文本嵌入】
aesgga的博客
12-07 769
通过本文的介绍，相信您已经掌握了如何使用BGE模型进行文本嵌入的基本流程。BGE模型因其高效性能在各类AI应用中具有广泛的应用前景。进一步学习资源Hugging Face 文档Sentence Transformers 文档北京智源人工智能研究院官网。
使用Hugging Face进行文本嵌入推理：从零开始的实用指南
dsndnwfk的博客
11-16 565
TEI是一个用于部署和服务开源文本嵌入模型的工具包，支持流行的模型如FlagEmbedding、Ember、GTE和E5。利用Docker等容器技术，开发者可以轻松地在本地或云环境中运行这些模型。通过本文，你应该能够理解如何使用Hugging Face的TEI工具对文本进行嵌入推理。继续学习可以参考Hugging Face的官方文档和社区资源，以深入探索特定模型的配置和高级用法。
第一次在公司调试BGE模型，谨以此篇记录学习过程
weixin_46101568的博客
08-30 2123
调试模型是一个复杂的过程，特别是看别人写好的代码，对应那种封装好的代码，站在公司的角度，是希望数据和模型都在本地。需要调整的地方很多。经过这么一个流程下来，也有很多的收获，学习了不少排错的方法，继续加油。
BGE模型
whaosoft143ai的博客
09-15 2278
当前，BGE 快速迭代推出 1.5 版本并公布多项更新，其中，BGE 首次开源 3 亿条大规模训练数据，帮助社区训练同类模型，推动该领域技术发展。坚持开源开放，促进协同创新，智源大模型技术开体系 FlagOpen BGE 新增 FlagEmbedding 新版块，聚焦于 Embedding 技术和模型，BGE 是其中明星开源项目之一。不同于向量模型需要输出向量，BGE-reranker 直接文本对输出相似度，排序准确度更高，可用于对向量召回结果的重新排序，提升最终结果的相关性。whaosoft aiot
什么是BGE模型？
weixin_64911856的博客
11-13 1425
BGE模型的目标是成为中文世界的通用embedding模型，支持所有embedding使用场景，包括但不限于检索（retrieval）、重排（re-rank）、聚类（clustering）、分类（classification）、配对分类（pair-classification）等任务。BGE模型的一个重要成员是BGE-M3，它支持超过100种语言的语义表示及检索任务。BGE模型的训练数据由无标签数据和有标签数据组成，无标签数据使用了悟道等数据集，有标签数据使用了dureader等数据集。
BGE：智源研究院突破性中英文语义Embedding向量模型
nulifancuoAI的博客
11-27 6416
BGE模型的发布，标志着语义向量模型（Embedding Model）在搜索、推荐、数据挖掘等领域的应用迈入了一个新的阶段。总结来说，BGE模型的发布，不仅为中英文语义向量模型领域带来了一次重大突破，也为大模型生态基础设施建设提供了强有力的支持。值得一提的是，BGE模型在保持卓越性能的同时，并未增加模型规模与向量的维度，因而保持了相同的运行、存储效率。此外，BGE英文模型（BGE-en）在英文评测基准MTEB中同样展现了出色的语义表征能力，总体指标与检索能力两个核心维度均超越了此前开源的所有同类模型。
【LLM-RAG】BGE M3-embedding模型（模型篇|混合检索、多阶段训练）
发现问题，并解决问题，批判性思维
02-16 1万+
M3-Embedding联合了3种常用的检索方式，对应三种不同的文本相似度计算方法。可以基于这三种检索方式进行多路召回相关文档，然后基于三种相似度得分平均求和对召回结果做进一步重排。 多阶段训练过程： 在这里插入图片描述 第一阶段：第一阶段的自动编码预训练采用的是RetroMAE，在105种语言的网页跟wiki数据上进行，从而获得一个基底模型 第二阶段：在第一个数据源的弱监督数据进行预训练，这阶段的损失损失只考虑基于稠密检索的对比学习损失。 最后第三阶段会在第二，三个数据源的监督数据进行训练，这阶段
BGE向量和重排模型架构和训练细节
qq_43814415的博客
05-01 9977
官方提供了挖掘难负样本的脚本，是从query召回的top2-100中随机抽取，正样本是top1。构造好数据集后，就可以继续做特定任务上的微调了。也可以使用llama_index微调，可以参考我的。
BGE家族新成员——下一代通用向量模型BGE-M3
Paper weekly
02-02 8379
Highlight:BGE-M3支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（Multi-Lingual）BGE-M3最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（Multi-Granularity）BGE-M3同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景‍‍（Multi-Functionality）模型...
怎么部署hugging face bge-reranker-v2-m3
01-09
### 部署 Hugging Face bge-reranker-v2-m3 模型 为了成功部署 Hugging Face 的 `bge-reranker-v2-m3` 模型，可以遵循以下指南： #### 准备环境 确保安装了 Python 和 pip 工具。接着，在命令行工具中执行如下操作来创建并激活虚拟环境（推荐做法），这有助于管理依赖项。 ```bash python -m venv my_env source my_env/bin/activate # Linux 或 macOS 用户 my_env\Scripts\activate # Windows 用户 ``` #### 安装必要的库 通过 pip 来安装 Transformers 库和其他可能需要的包，比如 Torch 或 TensorFlow，具体取决于所选框架版本。 ```bash pip install transformers torch datasets ``` #### 加载模型 利用 Hugging Face 提供的 API 接口加载指定名称的空间中的预训练模型实例。对于 `bge-reranker-v2-m3` 而言，首次调用将会自动从远程服务器下载对应的权重文件至本地缓存目录[^2]。 ```python from transformers import AutoModelForSequenceClassification, AutoTokenizer model_name = "BAAI/bge-reranker-v2-m3" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) ``` #### 使用模型进行预测 定义一个简单的函数来进行输入处理和输出解析，以便能够方便地测试该重排序器的效果。 ```python def rerank(query, documents): inputs = tokenizer([query]*len(documents), documents, return_tensors="pt", padding=True, truncation=True) outputs = model(**inputs).logits.detach().numpy() scores = list(zip(outputs.flatten(), documents)) sorted_scores = sorted(scores, key=lambda x: x[0], reverse=True) for score, doc in sorted_scores[:5]: print(f"Score {score:.4f}: {doc}") # 测试例子 test_query = "example query text here." docs_to_rerank = ["document one content.", "another document's contents."] rerank(test_query, docs_to_rerank) ``` 上述代码片段展示了如何初始化模型以及编写基本的查询文档重排逻辑。实际应用时可根据需求调整参数设置或集成到更大规模的应用程序当中[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值