文本嵌入技术Text Embedding模型详解：text2vec、OpenAI ada-002到M3E及BGE-M3的演变

最新推荐文章于 2025-04-13 11:05:04 发布
最新推荐文章于 2025-04-13 11:05:04 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： 搜索推荐系统相关技术业务落地方案 文章标签： embedding RAG 文本嵌入 词嵌入模型 m3e bge
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/141724236
版权

Text Embedding模型：从text2vec、openai-text embedding到m3e、BGE

在这里插入图片描述

1.Text Embedding榜单：MTEB、C-MTEB

1.1 《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》

判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准

  • 论文地址：https://arxiv.org/abs/2210.07316
    MTEB 包含 8 个语义向量任务，涵盖 58 个数据集和 112 种语言。通过在 MTEB 上对 33 个模型进行基准测试，建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。这表明该领域尚未集中在一个通用的文本嵌入方法上，并将其扩展到足以在所有嵌入任
了解本专栏 订阅专栏 解锁全文
文本嵌入模型的技术对比：大小、效率、效果与使用场景
zhangjiaofa的专栏
01-15 1089
文本嵌入模型（Text Embedding Models）是自然语言处理（NLP）中的核心技术之一，能够将文本转化为固定维度的向量表示，从而支持语义搜索、文本分类、聚类等任务。近年来，随着大模型的快速发展，文本嵌入模型在性能、效率和应用场景上取得了显著进步。本文将从模型大小、计算效率、任务效果和使用场景四个维度，对比分析主流的文本嵌入模型，包括OpenAI的text-embedding-ada-002、M3E、BGE、Jina Embeddings v3等，并通过图表展示其性能差异。
文本向量模型（Text Embedding Models）
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
11-14 1385
文本向量化，词嵌入，Word2Vec，GloVe，BERT，Transformer，自然语言处理，深度学习 1. 背景介绍 在当今数据爆炸的时代，文本数据已成为信息的主要来源。如何有效地处理和理解这些文本数据对于人工智能的发展至关重要。传统的文本处理方法通常依赖于手工设计的特征，但这
BM25、BGE以及text2vec-base-chinese的区别
最新发布
ZJQ的博客
04-13 41
BGE（Bidirectional Encoder Representations from Transformers）是基于Transformer架构的预训练语言模型，它通过在大规模文本数据上进行无监督学习，学习到文本的语义表示。：广泛应用于自然语言处理的各个领域，特别是需要对文本语义进行深入理解的任务，如语义搜索、问答系统、文本生成等。：能够学习到丰富的语义信息，对同义词、近义词等语义相关的文本有较好的处理能力，在语义检索等任务上表现出色。
Text Embedding（文本嵌入）模型介绍
培根芝士的专栏
05-27 4493
Text Embedding是自然语言处理（NLP）中的一个核心技术，它指的是将文本（如单词、短语、句子或段落）转换为固定大小的实数向量，这些向量可以捕获文本中的语义信息，使得语义上相似的文本在嵌入空间中具有相似的向量表示。这种转换使得文本数据能够被计算机理解和处理，从而可以在各种NLP任务中使用。
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
热门推荐
结构之法 算法之道
12-31 4万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
AI绘画工具Stable Diffusion【模型篇】：Embedding模型
A1353192296的博客
04-17 3757
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
Text embedding 模型总结
dzysunshine的博客
10-08 1万+
目前，随着的火热，除了层出不穷的大模型外，因为检索的能力会很大程度影响最终的问答效果，文本的嵌入模型也是大家比较关注的。本文主要介绍效果较好的几种文本嵌入模型。
Embedding模型
2402_87933438的博客
02-22 1681
在数学中，向量（也称为欧几里得向量、几何向量），指具有大小和方向的量。它可以形象化地表示为带箭头的线段。如下图所示把文本转换成数组的过程叫做向量化。向量之间的距离对应向量的语义相似度。箭头所指：代表向量的方向；线段长度：代表向量的大小。Embedding模型的核心理论1. 基本思想：从符号到向量符号表示的问题：传统方法（如One-Hot编码）将文本表示为离散的符号，导致高维稀疏（维度=词汇表大小）、缺乏语义信息（“猫”和“狗”的向量正交，无相似性）。向量表示的优势。
text-embedding-ada-002；BGE模型；M3E模型是Moka Massive Mixed Embedding；BERT
ZJQ的博客
11-06 725
text-embedding-ada-002属于OpenAI大型语言模型系列的一部分，这个嵌入模型是为了将文本（如单词、短语或整段文本）转换为数值形式的向量，使得计算机能够处理和理解自然语言。
text-embedding-ada-002
hshpy的博客
11-14 1370
The。
text2vec：text2vec，中文文本到vetor。（文本向量化表示工具，包括词向量化，句子向量化，句子相似度计算）
02-03
字词粒度，通过腾讯AI Lab开放式的大规模扩展中文 （文件名：light_Tencent_AILab_ChineseEmbedding.bin密码：tawe），获取字词的word2vec矢量表示。 句子粒度，通过求句子中所有单词词嵌入的预先计算得到。 篇章...
【Embedding合集】文本数据常用Embedding实现方案
LUyan10086的博客
05-15 1375
对文本数据进行嵌入（Embedding）并计算它们之间的相似度是自然语言处理（NLP）中的一项基础任务，广泛应用于信息检索、文本聚类、推荐系统等领域。常用的文本嵌入的方案有词袋模型、Word2Vec、GloVe、FastText以及Bert等。目前最常用的还是Word2Vec，简单且高效，在深度学习领域后续需要进行某些文本分类、情感分析等任务时用Bert，FastText一般是资源有效数据量大并且文本较为复杂时使用。
文本向量化（Embedding）模型
翱翔-蓝天
03-24 1452
将文本（单词、句子、段落、文档）通过特定模型映射为稠密向量（Dense Vector），用于表示文本的语义信息。BGE（BAAI General Embedding）系列出自：北京智源研究院（BAAI）版本：bge-small（256维，轻量）bge-base（768维，效果平衡）bge-large（1024维，效果最优）亮点：针对检索任务优化多语言支持（M3版本）文本检索与RAG问答强项适合场景：知识库、问答系统、相似度计算场景推荐模型推荐数据库中文RAG检索。
文本嵌入的经典模型与最新进展（下载PDF）
机器学习算法与Python学习
06-24 1271
来自 | AI研习社   作者 | WBLUE词嵌入和句子嵌入已成为所有基于深度学习的自然语言处理（NLP）系统的重要组成部分。它们在定长的密集向量中编码单词和句子，以大...
text-embedding 嵌入模型
weixin_43589681的博客
05-28 2089
文本嵌入通常在单个任务的一小部分数据集上进行评估，而不包括它们在其他任务中的可能应用。目前尚不清楚最新的语义文本相似性嵌入(STS)是否可以同样很好地应用于其他任务，如聚类或重新排序。这使得该领域的进展难以跟踪，因为各种模型不断被提出而没有得到适当的评估。为了解决这个问题，我们引入了海量文本语义向量基准测试(MTEB)。MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。
【大模型开发】 一文搞懂Embedding工作原理
qq_39172059的博客
03-12 3万+
本文将从三个方面，带您一文搞懂。
文本嵌入模型
qq_63182432的博客
04-02 209
文本嵌入模型是一种将文本（单词、短语、句子或文档）转换为数值向量（称为嵌入）的自然语言处理技术。这些向量捕捉文本的语义信息，使计算机能够理解和处理语言。
【文本分类】深入理解embedding层的模型、结构与文本表示
modi000的博客
01-16 2739
假设，原始数据有F个特征，通过one-hot编码后，表示成N维的向量，即input层的维度是N，和权重矩阵相乘，变成embedding_size维的向量。上图中，假设1个batch内的文本数为k，每篇文本中的词语数为4，嵌入层的维度为n，|v|为词典中的总词数，那么输入为(k,4)的张量，文本矩阵为(k,4,n)的三维张量，嵌入层参数矩阵形状为(|v|,n)。是input输入层的输出。从降维的角度看，定义了嵌入层的维度为n后，词向量就是把词典中的所有词用n个维度来表征出来，相当于特征提取。
常见的文本嵌入模型文本嵌入模型、langchain
zc621_的博客
09-30 4068
内容生成与处理选择：LLM（如 OpenAI 的理由：提供高质量语义嵌入，适用于复杂文本生成和处理任务。对话与交互选择：聊天模型（如 ChatGPT）理由：能够管理多轮对话和上下文，提供自然的对话体验。信息检索与相似性分析选择：文本嵌入模型（如 Sentence-BERT、OpenAIEmbeddings）理由：高效的语义检索和相似性计算，适用于文档检索和推荐系统。LangChain是一个功能强大的框架，专为构建基于大型语言模型的应用程序设计。令牌使用效率低：可以通过使用Tiktoken。
文本嵌入模型 nomic-embed-text mxbai-embed-large BGE-M3
03-14
### 不同文本嵌入模型的特点与性能比较 #### 1. **mxbai-embed-large** 该模型在多个任务上表现出较高的准确性，特别是在文本分类任务中的表现尤为突出。它在MTEB AmazonPolarityClassification数据集上的效果优于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值