手工微调embedding模型，让RAG应用检索能力更强

最新推荐文章于 2025-05-09 15:06:52 发布
最新推荐文章于 2025-05-09 15:06:52 发布
阅读量4.4k 收藏 48
点赞数 16
文章标签： embedding 大模型微调 人工智能 ai大模型 大语言模型 AGI RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/python122_/article/details/139919074
版权

BAAI/bge-small-en

目前HuggingFace的MTEB(海量文本Embedding基准)排行榜上排名第一的Embedding模型是big-large-en，它由北京人工智能研究院(BAAI，智源)开发。它是一种预训练的transformer模型，可用于各种自然语言处理任务，如文本分类、问答、文本生成等。该模型在海量文本和代码数据集上进行训练，并在海量文本Embedding基准(MTEB)上进行了微调。

在本文中，我们将使用 big-large-en的缩小版big-small-en，这是一个384维的小规模模型（OpenAI是1500+维），具有竞争力的性能，非常适合在Google Colab中运行。大家也可以选择中文版的bge-base-zh-v1.5，只有0.1G。当然你的硬件环境允许，也可以使用1.3G的bge-large-zh-v1.5等embedding模型。

微调Embedding模型与微调LLM

与LLM（大语言模型）微调相比，big-small-en微调的实现有一些不一样，下面简单说一下异同点：

相似点

  • 两种类型的微调都遵循相同的方法，即生成用于训练和评估的数据集，微调模型，最后评估基本模型和微调模型之间的性能。
  • 使用LLM自动生成训练和评估数据集。

不同点

  • 数据集内容在LLM微调和Embedding模型微调之间有所不同。用于LLM微调的数据集包含LLM生成的问题。在微调过程中，包括问题、答案、系统prompt等在内的一系列数据将以JSON行( jsonl)文件的形式传递给要进行微调的模型。

不同的是，用于Embedding模型微调的数据集包含以下三组:

  1. queries：node_id映射和LLM生成的问题的集合。
  2. corpus：node_id映射和相应节点中的文本的集合。
  3. relevant_docs：查询的node_id和语料库 node_id之间的交叉引用映射的集合。给定一个查询，它告诉Embedding模型要查找哪个文本节点/语料库。
  • 由于我们使用开源Embedding模型bge-small-en ，微调的前提就是要先把它下载到您的本地环境。以Google Colab为例，经过微调的模型将被下载到笔记本的根目录中。
  • 评估方法在微调Embedding模型和微调LLM之间有所不同，我们可以使用Ragas框架来衡量精准度和答案相关性。然而，当使用Embedding模型微调时，我们无法测量答案的正确性，因为我们只能为我们的问题检索相关节点。相反，我们使用一个称为“命中率”的简单度量，这意味着对于每个(query, relevant_doc)对，我们用查询检索top-k文档，如果结果包含relevant_doc，则它被认为是“命中”的。该指标可用于专有Embeddings，如OpenAI的Embedding模型和开源Embedding模型。对于开源Embedding模型，我们还可以使用来自sentence_transformers的InformationRetrievalEvaluator进行评估，因为它提供了一套更全面的指标。

微调Embedding模型似乎涉及到很多问题。幸运的是，LlamaIndex（我个人感觉LlamaIndex目前的发展可能会在RAG方面打败LangChain）在最近的0.8.21版本中引入以下关键类/函数，使得微调Embedding模型变得超级简单:

  • SentenceTransformersFinetuneEngine
  • generate_qa_embedding_pairs
  • EmbeddingQAFinetuneDataset

这些类和函数为我们抽象了底层的详细集成逻辑，使开发人员能够非常直观地调用它。

<

最低0.47元/天 解锁文章
大模型微调和RAG的应用场景
herosunly的博客
06-19 23万+
本文主要介绍了大模型微调和RAG的应用场景，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 大模型微调 vs. RAG
【大模型】大模型RAG检索增强生成技术使用详解
congge
11-17 6192
大模型RAG检索增强生成技术使用详解
LLM大模型: RAG两大核心利器 — embedding和reranker模型微调fine-tune
2401_85327249的博客
03-19 796
要想RAG好，embedding和reranker必须给力！目前市面上流行的embedding和reranker使用的都是通用预料训练，并未针对安全这个细分领域定制，所以有必要使用安全领域的预料微调一下！目前所有的预料中，获取成本比较低、并且不需要专门投入人力标注的有两种：
关于Embedding模型微调
charles666666的博客
04-14 760
通过以上步骤，可显著提升Embedding模型在特定任务中的表现。实际操作中，建议结合业务需求灵活调整策略。1.什么是Embedding模型微调？2.模型选择与初始化。
Embedding 模型领域微调实战
最新发布
Python_cocola的博客
05-09 920
本文从代码级别，手把手展示如何对 Embedding 模型进行领域微调，从而提升在特定领域的效果。
大模型的 Embedding 模型该如何进行微调？
2201_75499313的博客
06-07 4155
本文重点介绍了如何使用 Sentence Transformers 对开源的Embedding模型进行微调，并验证Embedding模型微调后的效果。Sentence Transformers 是一个宝库，它介绍了关于Embedding模型方方面面的内容，是了解、深入Embedding模型必不可少的工具。后续笔者将会介绍Embedding模型量化、俄罗斯套娃嵌入模型（Matryoshka Representation Learning, MRL）等相关方面的内容。
Embedding 模型的选择和微调
python1234567_的博客
06-14 4411
万物皆可 Embedding。在推荐系统、自然语言处理和计算机视觉等领域，Embedding 是一个非常重要的概念。Embedding 的本质是一种将高维稀疏数据转换为低维稠密向量的技术，通过这种转换，能够捕捉数据中的语义或特征关系。具体来说，Embedding 用一个多维稠密向量来表示事物的多维特征，从而在一个连续的向量空间中刻画事物之间的相似性和差异性。这种表示方式不仅提高了计算效率，还增强了模型对数据内在结构和关系的理解能力。
手工微调embedding模型RAG检索能力
asd8705的专栏
01-14 3354
本文是一篇关于如何微调embedding的文章，原作者是Wenqi Glantz。 主要内容： 微调big-large-en开源embedding模型； 具体实现代码细节； 评测最终的提升效果。
分享Embedding 模型微调的实现
python122_的博客
08-14 1220
1. 当前比较主流的Embedding开源模型有哪些？答：1. m3e(Moka Massive Mixed Embedding) 2. BAAI/bge-large-zh-v1.5。更多的开源模型评测榜单可见：\2. 模型的作用？答：通过词，句子或者上下文的向量生成，从而来实现更高效的语义检索，语言理解的相关任务。\3. 模型是如何捕获语义信息的？答：在训练的过程中，模型学习用来反映语义相似性的方式将向量分配给单词或序列。简言之，通过分析数据中的词共现模式来实现。
使用RAG技术构建企业级文档问答系统：检索优化Embedding微调
python122_的博客
08-14 1132
根据。
为检索增强生成（RAG）微调Embedding模型
asd8705的专栏
07-01 782
嵌入模型对于成功的RAG应用至关重要，但它们通常基于通用知识进行训练，这限制了它们在公司或特定领域应用的有效性。Matryoshka表示学习（MRL）是一种旨在创建可以在不显著降低性能的情况下被截断到各种维度的嵌入的技术。这种方法将重要信息前置加载到嵌入的早期维度中，从而在保持高准确度的同时实现下游任务（如检索、分类和聚类）的高效存储和处理。在这篇博客中，我们将向您展示如何使用2023_10 NVIDIA SEC 报告的合成数据集，为金融RAG应用调整嵌入模型。5、对比调整后的模型与基准进行评估。
大模型 | 特定领域的Embeddings模型微调全面指南
老皮的博客
12-08 1852
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
什么是embedding模型的微调？为什么要对embedding模型微调？
simoncool23的博客
01-05 1226
微调嵌入（embedding）模型是指在预训练模型的基础上，针对特定任务或数据集进行进一步训练，使其更适应特定领域的需求。预训练模型通常基于大规模的通用数据集，而微调则使模型能够捕捉特定领域的细微差别，从而在特定任务中表现得更出色。例如，使用合成数据对嵌入模型进行微调，针对特定领域的需求，能够使评估指标相比基础模型提升5%至10%。：在准备好的数据上训练模型，调整其参数，以减少在特定任务上的误差。总而言之，微调嵌入模型使其能够更有效地执行特定任务，适应特定领域的特点，从而提高输出的准确性和相关性。
RAG 高效应用指南：Embedding 模型的选择和微调
2401_85379281的博客
09-17 3996
万物皆可 Embedding。在推荐系统、自然语言处理和计算机视觉等领域，Embedding 是一个非常重要的概念。Embedding 的本质是一种将高维稀疏数据转换为低维稠密向量的技术，通过这种转换，能够捕捉数据中的语义或特征关系。具体来说，Embedding 用一个多维稠密向量来表示事物的多维特征，从而在一个连续的向量空间中刻画事物之间的相似性和差异性。这种表示方式不仅提高了计算效率，还增强了模型对数据内在结构和关系的理解能力。
自然语言处理:第六十一章 微调Embedding模型，将你的RAG上下文召回率提高95%
victor_manches的博客
11-11 1212
检索增强生成（RAG）是一种将LLM（大型语言模型）集成到商业用例中的突出技术，它允许将专有知识注入LLM中。本文假设您已经了解RAG的相关知识，并希望提高您的RAG准确率。让我们简要回顾一下这个过程。RAG模型包括两个主要步骤：检索和生成。在检索步骤中，涉及多个子步骤，包括将上下文文本转换为向量、索引上下文向量、检索用户查询的上下文向量以及重新排序上下文向量。一旦检索到查询的上下文，我们就进入生成阶段。在生成阶段，上下文与提示结合，然后发送给LLM以生成响应。
Dify文档喂不饱模型？让你们工程师试试硬核RAG（Embedding微调）
2401_85325397的博客
04-01 904
在 AI 时代，Embedding 是 NLP 任务的基石，直接决定了你的模型是「聪明绝顶」还是「笨拙不堪」。你是否遇到过这些让人头疼的问题： 做智能问答时，模型总是答非所问，用户一脸懵圈？ 做推荐系统时，用户翻遍推荐内容，还是觉得「没一个对味」？ 做语义搜索时，搜索结果五花八门，相关性差到让人抓狂？
还没搞懂嵌入（Embedding）、微调（Fine-tuning）和提示工程（Prompt Engineering）？...
DynmicResource的博客
09-27 2773
theme: orange 嵌入(Embedding)、微调(Fine-tuning)和提示工程(Prompt Engineering) 是AIGC 模型的核心功能，合理运行这些功能，能实现一些复杂和意向不到的应用。 前言 Prompt和Embedding是AIGC模型的核心功能，语言处理应用。例如，它们可以用于聊天机器人、语言翻译、摘要生成、文本分类等。Fine-tuning技...
rag embedding模型
03-20
### RAG 嵌入式模型在 NLP 中的实现与使用 #### 背景概述 检索增强生成（Retrieval-Augmented Generation, RAG）是一种结合了检索模块和生成模块的方法，旨在解决知识密集型自然语言处理任务中的信息不足问题[^1]。RAG 的核心在于其能够动态地从外部数据库或文档集合中检索相关信息，并将其融入到生成过程之中。 #### 文本嵌入的作用 文本嵌入通过捕捉丰富的语言特征和语义细微差别，增强了 RAG 模型的生成能力[^3]。具体而言，在答案生成阶段，RAG 利用预训练的编码器将输入查询映射到高维向量空间，并在此基础上执行相似度匹配以找到最相关的上下文片段。这些上下文随后被传递给解码器用于最终响应的构建。 #### 实现流程 以下是基于 Python 和 Hugging Face Transformers 库的一个简单示例，展示如何加载并运行一个基本版本的 RAG 模型： ```python from transformers import RagTokenizer, RagTokenForGeneration # 初始化 tokenizer 和 model tokenizer = RagTokenizer.from_pretrained("facebook/rag-token-base") model = RagTokenForGeneration.from_pretrained("facebook/rag-token-base") def generate_answer(question): input_ids = tokenizer.question_encoder([question], return_tensors="pt")["input_ids"] generated = model.generate(input_ids) answer = tokenizer.batch_decode(generated, skip_special_tokens=True)[0] return answer # 测试函数 print(generate_answer("What is Retrieval Augmented Generation?")) ``` 此脚本定义了一个 `generate_answer` 函数，它接受一个问题字符串作为参数，并返回由 RAG 模型产生的相应解答[^2]。 #### 技术细节扩展 对于更复杂的场景或者定制需求，可以考虑调整以下几个方面： - **索引优化**: 使用 FAISS 或 Annoy 等高效近似最近邻算法加速大规模数据集上的检索操作。 - **领域适配**: 对特定行业术语较多的应用场合重新微调 embeddings 表征层以便更好地理解专业词汇含义。 - **多模态支持**: 将视觉、音频等形式的信息纳入考量范围从而拓宽应用场景边界。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值