BGE向量和重排模型架构和训练细节

已于 2024-10-21 20:10:38 修改
阅读量9.9k 收藏 37
点赞数 25
分类专栏： LLM 文章标签： python
于 2024-05-01 16:23:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43814415/article/details/138373789
版权

模型论文：https://arxiv.org/pdf/2309.07597
模型数据：https://data.baai.ac.cn/details/BAAI-MTP

BGE的embedding模型是一个表征模型，对pair对文本分别建模成向量，再通过余弦相似度得到向量之间相似度。表征模型适合在离线场景构建索引。
相对的，Reranker模型是交互型模型，将pair对文本共同作为模型输入直接得到相似度，文本之间可以得到更好的特征交互，效果更显著。

向量模型

训练数据

在这里插入图片描述

由无标签数据和有标签数据组成。
无标签数据使用了悟道等数据集，有标签数据使用了dureader等数据集。
都是文本对，对于无标签数据还使用Text2Vec-Chinese过滤掉得分低于0.43的pair。
有标签数据直接来自于下游任务的标注数据集，包括DuReader、mMARCO、NLI-Zh等，涵盖retrieval、ranking、similarity comparison等任务。
在这里插入图片描述
在这里插入图片描述

模型训练

在这里插入图片描述BGE是一个类BERT的模型。
是一个三阶段的训练过程。

1.Pre-Training

使用纯文本的悟道语料，不是文本对。目的是得到更强大的表征能力。做法是采用RetroMAE的训练策略：先对text X进行随机Mask，然后进行encoding，再额外训练一个light-weight decoder（如单层transformer）进行重构。通过这一过程，强迫encoder学习到良好的embedding。作者认为，解码器结构简单，只有单层transformer，而且输入句子的掩码率很高，会使得解码变得具有挑战性，可以迫使生成高质量的句子嵌入，以便可以以良好的保真度恢复原始输入。在这里插入图片描述

2.general-purpose fine-tuning

预训练模型通过对 C-MTP（无标签）进行对比学习进行微调，以区分配对文本与其负样本。

对比学习的一个关键因素是负样本。没有特意挖掘难负样本，而是纯粹依赖批内负样本，并借助大批次（高达 19,200）来提高嵌入的区分性。

3.Task-specific fine-tuning

BGE适合各种类型的任务，如检索、摘要等等。它们包含的任务类型各异，可能会相互影响。
为了将通用的也能在各类任务中有优异表现，采用了以下两个方法：

  1. 基于指令的微调： 输入数据会被区分，以帮助模型适应不同任务。对于每个文本对 (p,
    q)，会在查询侧附加一个特定任务的指令。指令是一个言语提示，明确了任务的性质，例如“为这个句子生成表示以用于检索相关文章：”。
  2. 负样本更新：除了批内负样本，每个文本对 (p, q) 还会挖掘一个难负样本 q’。难负样本从任务的原始语料库中挖掘，遵循了ANN
    风格的采样策略。难负样本通常与目标文本相似，但并不匹配，从而增加了模型的训练难度，提升了模型的区分能力。

自定义微调

官方提供了挖掘难负样本的脚本，是从query召回的top2-100中随机抽取，正样本是top1。
构造好数据集后，就可以继续做特定任务上的微调了。
https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune
也可以使用llama_index微调，可以参考我的http://t.csdnimg.cn/EYs91

微调在 Embeding 模型和 Reranker 模型上使用同类型的数据集，并将语义相关性任务视为二分类任务。使用二分类交叉熵损失（BCE）来训练模型，使其能够在语义相关性任务中区分正负样本。

参考：
1.https://zhuanlan.zhihu.com/p/690856333
2.https://zhuanlan.zhihu.com/p/669596130
3.https://zhuanlan.zhihu.com/p/670277586
4.https://zhuanlan.zhihu.com/p/578747792

重排模型

HNSW的近似搜索引入随机性，导致Top-K结果可能包含不够相关的文档且排序不准确，因此需要重排以确保返回的K个文档按相关性正确排序。

文本片段与 query 的相似性和文本片段是否包含 query 的答案（相关性）是两回事。LLM 输入 token 是有限制，所以必须把能回答 query 问题的片段（和问题最相关）给 LLM。

检索

Embedding 也可以给出一个得分，但是这个得分描述的更多的是相似性。Embedding 本质上是一个双编码器，两个文本在模型内部没有任何信息交互。只在最后计算两个向量的余弦相似度时才进行唯一一次交互。所以 Embedding 检索只能把最相似的文本片段给你，没有能力来判断候选文本和 query 之间的相关性。但是相似又不等于相关。

在这里插入图片描述

排序

Rerank 本质是一个 Cross-Encoder 的模型。Cross-Encoder 能让两个文本片段一开始就在 BERT 模型各层中通过 self-attention 进行交互。它能够用 self-attention 判断出来这个 query 中的重点在于大连医科大学，而不是怎么样？。所以，如下图所示，大连医科大学怎么样？这个 query 和大连医科大学创建于 1947 年… 更相关。

在这里插入图片描述
cross-encoder 需要实时计算两个文本块的相关度，如果候选文本有几万条，每一条都需要和 query 一起送进 BERT 模型中算一遍，需要实时算几万次。这个成本是非常巨大的。

参考：https://mp.weixin.qq.com/s/jo1TsJGx_cVVNpJEqSbgUQ

深入RAG优化：BGE词嵌入全解析与Landmark Embedding新突破
春华秋实
09-05 751
在大模型时代，它更是用于解决幻觉问题、知识时效问题、超长文本问题等各种大模型本身制约或不足的必要技术。然而，当前中文世界的高质量语义向量模型仍比较稀缺，且很少开源。为加快解决大模型的制约问题，近日，智源发布最强开源可商用中英文语义向量模型BGE（BAAI General Embedding），在中英文语义检索精度与整体语义表征能力均超越了社区所有同类模型，如OpenAI 的text embedding 002等。此外，BGE 保持了同等参数量级模型中的最小向量维度，使用成本更低。
智源发布最强开源可商用中英文语义向量模型 BGE，超越同类模型，解决大模型制约问题
丨汀、的博客
10-13 2661
智源发布最强开源可商用中英文语义向量模型 BGE，超越同类模型，解决大模型制约问题
BGE系列模型原论文，rag中的rerank模型
07-11
BGE模型，全称为BAAI General Embedding模型，是由北京智源研究院研发的一系列通用语义向量模型。自2023年8月发布以来，BGE模型家族已经推出了多个版本，包括BGE v1.0、v1.5和多语言模型BGE-M3。这些模型在语义理解和跨语言映射方面取得了显著进展，为自然语言处理领域带来了新的突破 。 BGE模型的特点包括： 多语言性（Multi-Linguality）：BGE模型支持超过100种语言，能够处理不同语言之间的语义匹配任务，建立有效的跨语言语义联系 。 多功能性（Multi-Functionality）：BGE模型集成了稠密检索、稀疏检索、多向量检索等检索功能，可以一站式服务不同的语义检索场景 。 多粒度性（Multi-Granularity）：BGE模型可以处理不同粒度的输入文本，包括句子、段落、篇章和文档，最大输入长度可达8192 。
【向量模型】 开源通用向量模型BGE （BAAI General Embedding）
最新发布
weixin_42430947的博客
03-09 1686
BGE为各类信息检索及大语言模型检索增强应用而打造，本文从多个维度详细解析 BGE 的特点与应用
登顶！智源BGE首开国产模型Hugging Face月度下载全球第一
eagleofstar的博客
10-11 934
BGE（BAAI General Embedding）系列模型是北京智源人工智能研究院研发的开源通用向量模型，该模型专为各类信息检索及大语言模型检索增强应用而打造。自2023年8月发布首款模型BGE v1，历经数次迭代，BGE已发展为全面支持“多场景”、“多语言”、“多功能”、“多模态”的技术生态体系。BGE不仅性能综合卓越，多次大幅刷新BEIR、MTEB、C-MTEB等领域内主流评测榜单，而且始终秉持彻底的开源开放的精神，“模型、代码、数据”向社区完全公开。
文本向量模型BGE与BGE-M3
beingstrong的博客
04-01 1万+
文本向量模型BGE与BGE-M3原理介绍
BGE：智源研究院突破性中英文语义Embedding向量模型
nulifancuoAI的博客
11-27 6414
BGE模型的发布，标志着语义向量模型（Embedding Model）在搜索、推荐、数据挖掘等领域的应用迈入了一个新的阶段。总结来说，BGE模型的发布，不仅为中英文语义向量模型领域带来了一次重大突破，也为大模型生态基础设施建设提供了强有力的支持。值得一提的是，BGE模型在保持卓越性能的同时，并未增加模型规模与向量的维度，因而保持了相同的运行、存储效率。此外，BGE英文模型（BGE-en）在英文评测基准MTEB中同样展现了出色的语义表征能力，总体指标与检索能力两个核心维度均超越了此前开源的所有同类模型。
BGE家族新成员——下一代通用向量模型BGE-M3
Paper weekly
02-02 8363
Highlight:BGE-M3支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（Multi-Lingual）BGE-M3最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（Multi-Granularity）BGE-M3同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景‍‍（Multi-Functionality）模型...
三大知名向量化模型比较分析——m3e,bge,bce
热门推荐
东南草堂
07-16 3万+
BGE：在多语言支持、文本处理能力和检索精度方面表现优异，尤其适合需要高精度和高效率的场景。同时，其资源使用较为经济。M3E：专注于中文文本处理，具有强大的文本处理能力和灵活的部署选项，适合资源受限或需要私有化的应用场景。BCE：虽然具体细节较少，但其在RAG应用中的表现表明其具备一定的优势，可能适合特定的高精度需求场景。根据不同的应用需求和资源条件选择合适的模型会更加有效。
智源开源：BGE最强语义向量计算模型引领AI革命
Andy的博客
07-24 195
同时，通过计算文本中实体之间的关系，BGE模型还可以用于关系抽取任务，如人物关系、事件关系等的抽取。首先，它的全局特征提取方法能够更准确地表达文本的语义信息，提高了模型的准确性。其次，由于其高效的数据处理能力，BGE模型可以更快地计算文本的语义向量表示，大大提高了计算效率。最后，BGE模型具有很高的灵活性，可以轻松地与其他自然语言处理技术结合使用，为开发者提供了更多的选择和可能性。且喜跑步，尤钟马拉松，长途奔袭，考验耐力与毅力，每有所进，心甚喜之。吾以为，编程似布阵，算法如谋略，需精心筹谋，方可成就佳作。
煤矿安全大模型：微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答
丨汀、的博客
07-03 674
煤矿安全大模型：微调internlm2模型实现针对煤矿事故和煤矿安全知识的智能问答
专业级语义搜索优化：利用 Cohere AI、BGE Re-Ranker 及 Jina Reranker 实现精准结果重排...
cnzzs的博客
09-03 2179
专业级语义搜索优化：利用 Cohere AI、BGE Re-Ranker 及 Jina Reranker 实现精准结果重排 1. 简介 1.1 RAG 在说重排工具之前，我们要先了解一下 RAG。 检索增强生成(RAG)是一种新兴的 AI 技术栈，通过为大型语言模型(LLM)提供额外的 “最新知识” 来增强其能力。 基本的...
大模型时代的企业转型：RAG技术的进化与挑战
xxxxaayy的博客
09-20 725
展望未来，我们有理由相信，随着技术的不断进步，AI将更深入地融入我们的生活，改变我们的工作方式，提升我们的生活质量。通过企业内部制度的规范、大模型Generate能力的融入、以及衍生技术工具的升级，使得RAG不单单是一个大模型的外挂系统，而是一个具有流程化的，将企业私域知识和大模型通用能力深度融合的企业实践。能力可以将用户的问题进行相关性衍生，这个环节对用户是隐性的。作为RAG框架的首选，也是查询召回的基础能力，面对长文本的向量匹配，我们可以选择更高维度的向量模型来捕获和比较更多特征值，提升准确率。
大模型中的检索增强RAG，Embedding，Index，Rerank，BGE，Faiss，chunking
猛犸象
10-22 1351
大模型中的检索增强RAG，Embedding，Index，Rerank，BGE，Faiss，chunking
什么是BGE模型？
weixin_64911856的博客
11-13 1422
BGE模型的目标是成为中文世界的通用embedding模型，支持所有embedding使用场景，包括但不限于检索（retrieval）、重排（re-rank）、聚类（clustering）、分类（classification）、配对分类（pair-classification）等任务。BGE模型的一个重要成员是BGE-M3，它支持超过100种语言的语义表示及检索任务。BGE模型的训练数据由无标签数据和有标签数据组成，无标签数据使用了悟道等数据集，有标签数据使用了dureader等数据集。
第一次在公司调试BGE模型，谨以此篇记录学习过程
weixin_46101568的博客
08-30 2120
调试模型是一个复杂的过程，特别是看别人写好的代码，对应那种封装好的代码，站在公司的角度，是希望数据和模型都在本地。需要调整的地方很多。经过这么一个流程下来，也有很多的收获，学习了不少排错的方法，继续加油。
BGE模型
whaosoft143ai的博客
09-15 2278
当前，BGE 快速迭代推出 1.5 版本并公布多项更新，其中，BGE 首次开源 3 亿条大规模训练数据，帮助社区训练同类模型，推动该领域技术发展。坚持开源开放，促进协同创新，智源大模型技术开体系 FlagOpen BGE 新增 FlagEmbedding 新版块，聚焦于 Embedding 技术和模型，BGE 是其中明星开源项目之一。不同于向量模型需要输出向量，BGE-reranker 直接文本对输出相似度，排序准确度更高，可用于对向量召回结果的重新排序，提升最终结果的相关性。whaosoft aiot
【LLM-RAG】BGE M3-embedding模型（模型篇|混合检索、多阶段训练）
发现问题，并解决问题，批判性思维
02-16 1万+
M3-Embedding联合了3种常用的检索方式，对应三种不同的文本相似度计算方法。可以基于这三种检索方式进行多路召回相关文档，然后基于三种相似度得分平均求和对召回结果做进一步重排。 多阶段训练过程： 在这里插入图片描述 第一阶段：第一阶段的自动编码预训练采用的是RetroMAE，在105种语言的网页跟wiki数据上进行，从而获得一个基底模型 第二阶段：在第一个数据源的弱监督数据进行预训练，这阶段的损失损失只考虑基于稠密检索的对比学习损失。 最后第三阶段会在第二，三个数据源的监督数据进行训练，这阶段
如何搭建deepseek + BGE-m3, 还有先择什么样的向量数据库比较好
02-25
<think>好的，用户想了解如何搭建DeepSeek加上BGE-M3，以及选择什么样的向量数据库。首先，我需要确认这两个组件的具体所指。DeepSeek可能是指深度求索公司开发的大模型，比如DeepSeek-R1或者他们的其他模型。而BGE-M3是北京智源研究院发布的BAAI General Embedding-M3，这是一个支持多语言、多模态、多粒度的文本嵌入模型，适合作为检索模型的嵌入层。 用户的需求可能是构建一个结合了大模型和高效检索的RAG（检索增强生成）系统。需要先明确步骤：首先加载和微调BGE-M3模型，将其作为文本编码器生成嵌入向量；然后选择合适的向量数据库存储和检索这些向量；接着将检索结果输入到DeepSeek大模型中进行生成；最后整合整个流程并优化性能。 在选择向量数据库时，用户可能需要考虑几个因素：数据规模、查询性能、扩展性、社区支持和易用性。常见的选项包括FAISS、Milvus、Pinecone、Chroma等。需要根据具体需求分析每个数据库的优缺点，比如FAISS适合中小规模数据，而Milvus适合分布式和大规模场景。用户可能需要处理高并发的查询，或者需要低延迟，这些都会影响选择。 接下来，用户可能对如何具体部署和集成这些组件有疑问。例如，如何将BGE-M3生成的向量存入数据库，如何设计检索逻辑，以及如何将结果传递给DeepSeek模型。可能需要代码示例或者步骤说明，比如使用Hugging Face Transformers加载模型，生成嵌入，然后用向量数据库的SDK进行存储和查询。 另外，用户可能关心是否需要微调BGE-M3以适应特定领域的数据，或者如何优化检索的准确性和速度。比如，调整嵌入模型的参数，或者对向量数据库进行索引配置，比如使用HNSW算法。 最后，需要考虑整个系统的架构设计，比如是否需要分布式部署，如何处理高可用性，以及监控和维护方面的问题。可能需要建议一些最佳实践，比如定期更新嵌入模型、监控数据库性能、进行负载测试等。 总结来说，用户需要一个从模型准备、数据库选择到系统搭建的完整指南，可能需要分步骤详细说明，并针对不同场景推荐合适的工具和配置。同时，要注意可能遇到的挑战，如模型兼容性、数据库性能调优、系统延迟等，并提供解决方案或参考资源。</think>搭建 **DeepSeek + BGE-M3** 的组合主要用于构建高效的检索增强生成（RAG）系统，结合大语言模型（DeepSeek）的生成能力和嵌入模型（BGE-M3）的语义检索能力。以下是关键步骤和向量数据库选择建议： --- ### **一、搭建流程概述** #### 1. **模型准备** - **BGE-M3**（Embedding 模型） 作用：将文本转换为高维向量，支持多语言、多模态、多粒度检索。 使用方式： - 通过 Hugging Face 直接加载模型： ```python from transformers import AutoModel, AutoTokenizer model = AutoModel.from_pretrained("BAAI/bge-m3") tokenizer = AutoTokenizer.from_pretrained("BAAI/bge-m3") ``` - 输入文本生成向量： ```python inputs = tokenizer(texts, padding=True, return_tensors="pt") embeddings = model(**inputs).last_hidden_state.mean(dim=1) ``` - **DeepSeek**（生成模型） 作用：基于检索结果生成高质量回答。 使用方式： - 通过 API 调用（如 DeepSeek-API）或本地部署模型： ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-llm-7b") tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b") ``` #### 2. **向量数据库选择** 根据场景需求选择数据库： | 数据库 | 特点 | 适用场景 | |--------------|----------------------------------------------------------------------|-----------------------------| | **FAISS** | 轻量级、内存计算，适合中小规模数据；无需服务化部署。 | 本地快速验证、小规模应用 | | **Milvus** | 分布式、高扩展性，支持海量数据；提供 RESTful API 和 SDK。 | 企业级生产环境、高并发场景 | | **Pinecone** | 全托管云服务，自动管理索引和扩展；低运维成本。 | 云原生应用、快速搭建 | | **Chroma** | 轻量级、易集成，适合简单应用；支持本地和内存模式。 | 原型开发、小规模实验 | **推荐组合**： - **快速验证**：BGE-M3 + FAISS/Chroma - **生产环境**：BGE-M3 + Milvus/Pinecone #### 3. **系统集成流程** 1. **数据预处理**：将文档切分（chunking），使用 BGE-M3 生成向量。 2. **向量入库**：将向量和元数据存入数据库（如 Milvus）。 3. **检索逻辑**：用户提问时，用 BGE-M3 编码问题，检索 Top-K 相关文档。 4. **生成回答**：将检索结果作为上下文，输入 DeepSeek 生成最终答案。 ```python # 示例代码框架 query = "用户问题" query_embedding = bge_m3.encode(query) # 生成查询向量 results = vector_db.search(query_embedding, top_k=5) # 检索 context = "\n".join(results) answer = deepseek.generate(f"基于以下上下文回答：{context}\n问题：{query}") ``` --- ### **二、关键优化点** 1. **Embedding 模型调优**： - 对 BGE-M3 进行领域适配微调（如使用 LoRA）。 - 调整文本分块策略（chunk size 和 overlap）。 2. **检索增强策略**： - 混合检索：结合语义向量 + 关键词（BM25）提升召回率。 - 重排序（Rerank）：对检索结果二次排序（如使用 BGE-M3 的 colbert 重排）。 3. **向量数据库配置**： - 索引类型：HNSW（高精度）或 IVF（快速检索）。 - 分片与副本：分布式部署提高吞吐量（Milvus 支持）。 --- ### **三、部署建议** - **轻量级方案**：Docker 部署 Milvus + FastAPI 封装服务。 - **云原生方案**：AWS/GCP 上使用 Pinecone + 异步调用 DeepSeek API。 - **性能监控**：跟踪检索延迟（P99）、召回率（Recall@K）和生成质量（ROUGE）。 --- ### **四、常见问题** - **延迟高**：优化索引参数（如 HNSW 的 `ef_search`）、使用 GPU 加速 Embedding。 - **数据更新**：支持增量更新索引（Milvus 支持动态数据插入）。 - **多模态支持**：BGE-M3 可扩展为图像/文本混合检索（需适配多模态编码）。 通过合理选择工具链和优化流程，可以构建高性能的 DeepSeek + BGE-M3 RAG 系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

灵海之森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值