公司项目需求，对一些embedding模型做了测试，结果发现。。。。。。

最新推荐文章于 2025-03-09 21:38:15 发布

YaoAIPro

最新推荐文章于 2025-03-09 21:38:15 发布

阅读量982

点赞数 2

文章标签： embedding llama

本文链接：https://blog.csdn.net/qq_46883219/article/details/140175745

版权

最近对embedding_model得输入长度和显存占用做了一些测试，结果发现只要bge-m3才能满足超大文本块得embedding需求。第一列为模型部署运行需要得显存，以下测试的字符都为中文字符，如3000，即为3000个汉字。

bge-m3	3000	8000	9000
2492MB	3754MB	10610MB	10982MB

bge-large-zh-1.5v	400	500	600
1564MB	1676MB	1702MB	1702MB

m3e-base	400	500	600
754MB	842MB	846MB	846MB

m3e-large	400	500	600
1564MB	1674MB	1702MB	1702MB

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

YaoAIPro

关注关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

如何高效选择RAG的中文Embedding模型？揭秘最佳实践与关键标准！

春华秋实

08-08

1041

这种技术广泛应用于自然语言处理（NLP）、推荐系统、图像处理等领域，用于将离散的、稀疏的输入数据（如词汇、用户ID、物品ID）转化为密集的、连续的向量表示。较高的维度可以捕捉更多的细节信息，但也会增加计算开销。性能优异的Embedding模型能够提供更准确的向量表示，从而提高信息检索的准确性和生成文本的质量。可扩展性：在处理大量数据或需要频繁更新模型的场景中，模型的可扩展性至关重要。社区和支持：选择有活跃社区和良好支持的Embedding模型，可以更方便地获取帮助和资源，解决使用过程中遇到的问题。

全网最全对比：主流Embedding模型实测（附代码+部署方案）

IT民工专栏

03-02

2826

BGE-M3、 text-embedding-3-large、GTE-Qwen2-7B等主流Embedding模型的对比

参与评论您还未登录，请先登录后发表或查看评论

BGE M3-Embedding 模型介绍

asd8705的专栏

06-30

3904

BGE M3-Embedding来自BAAI和中国科学技术大学，是BAAI开源的模型。相关论文在https://arxiv.org/abs/2402.03216，论文提出了一种新的embedding模型，称为M3-Embedding，它在多语言性（Multi-Linguality）、多功能性（Multi-Functionality）和多粒度性（Multi-Granularity）方面表现出色。

使用deepseek和bge-m3搭建本地知识库

2401_85390073的博客

02-25

6744

想要在本地搭建知识库，需要提供一个本地运行大模型的环境，选择合适的推理大模型和Embedding模型，其次需要配置向量数据库用于知识的存储和检索，最后安装可视化交互工具方便使用。当然很多可视化交互工具本身也提供了默认的向量数据库配置，如anythingLLM。为了简化本地部署，这里就通过anythingLLM来完成模型和向量数据库的配置。集成步骤如下：安装Ollama→下载DeepSeek和Embedding模型→安装anythingLLM→配置DeepSeek和Embedding模型。

BCEmbedding模型的性能评估与测试方法

gitblog_02171的博客

01-09

690

BCEmbedding模型的性能评估与测试方法 bce-embedding-base_v1 项目地址: https://gitcode.com/mirrors/maidalun1020/bce-embedding-base_v1...

wikipedia 训练繁体中文 embedding(word2vec)模型

Jasmine_dream

07-23

1813

由于课题任务需要一个繁体中文的word3vec, 折腾经过记录在此。希望以后少掉几个坑。训练好的embedding放在网盘中，密码：2um0 原文发布于个人博客(好望角)，那里有更好的阅读体验。 get wiki 最新的wiki datas下载地址，目前有1.6G大小。里面的内容以XML格式保存。节点信息如下： &amp;amp;lt;page&amp;amp;gt; &amp;

合合信息embedding模型登顶MTEB中文榜单：中文文本向量化技术的创新突破

商务合作 | 共同学习 | 携手共进

05-05

1万+

合合信息 embedding 模型登顶 MTEB 中文榜单：中文文本向量化技术的创新突破。

不同的embedding技术效果评价

所有专家都曾始于新手

01-15

1528

大部分场景相似度检索的效果更好，其中xiaobu效果最优。部分场景更适合用关键词检索，3年以上工作经验，但是也会漏了类似2012-2015这样的时间信息。因此后续的检索效果提升准备用混合检索，80%的大模型+20%关键词检索。：其中相似度最高的前两个检索结果能否符合问题要求。：嵌入结果是否提供了足够的信息来回答查询。我的评价标准：(0-10分进行手动打分)：嵌入结果是否涵盖了不同的信息维度。：嵌入的所有结果是否与查询相关。：嵌入结果是否与查询高度相关。：嵌入结果是否易于理解和解析。

embedding模型有哪些？如何选择合适的embedding模型？

bvip911的博客

09-19

2184

embedding模型是一种将数据映射到低维空间的模型，常用于自然语言处理、推荐系统、图像识别等领域。

合合信息Embedding模型：引领中文文本向量化技术新高度

阿牛的博客

04-23

1万+

目前，随着 LangChain + LLM模型的火热，除了层出不穷的大模型外，因为检索的能力会很大程度影响最终的问答效果，所以文本的向量表示模型也是大家比较关注的。在人工智能的世界里，文本向量化技术是连接自然语言处理（NLP）与机器学习的桥梁。它能将复杂的文本数据转换成机器可理解的向量形式，从而使得机器能够更加高效地处理和分析文本数据。最近，合合信息发布的acge_text_embedding 句子向量模型在中文文本向量化领域取得了突破性进展，荣获MTEB中文榜单第一的成绩。

【AI】什么是Embedding向量模型？我们应该如何选择？

最新发布

德仔

03-09

348

Embedding模型在本地知识库的用法，就是“两步走”：a.把本地文件变成数字向量（建库）。b.把用户问题也变成数字向量（搜索）。两者在“数字世界”中比对，就能像人一样理解语义，实现精准问答和搜索！

【LLM-RAG】BGE M3-embedding模型（模型篇|混合检索、多阶段训练）

发现问题，并解决问题，批判性思维

02-16

1万+

M3-Embedding联合了3种常用的检索方式，对应三种不同的文本相似度计算方法。可以基于这三种检索方式进行多路召回相关文档，然后基于三种相似度得分平均求和对召回结果做进一步重排。多阶段训练过程：在这里插入图片描述第一阶段：第一阶段的自动编码预训练采用的是RetroMAE，在105种语言的网页跟wiki数据上进行，从而获得一个基底模型第二阶段：在第一个数据源的弱监督数据进行预训练，这阶段的损失损失只考虑基于稠密检索的对比学习损失。最后第三阶段会在第二，三个数据源的监督数据进行训练，这阶段

TensorFlow相关组件的安装

AAI666666的博客

01-11

2542

TensorFlow相关组件的安装

【AI工作流】Ollama本地化大模型安装

AAI666666的博客

02-06

1万+

为了给以后的工作流和本地模型铺路，有必要说一下Ollama本地大语言后台的安装。

fastGpt中索引模型M3E换为bge-m3，处理效率翻8倍

yncjxnc的博客

04-26

3974

6、登陆one-api: http://127.0.0.1:18087，把旧的M3E地址http://127.0.0.1:6008修改为bgem3地址http://127.0.0.1:5000。1、在服务器100.161.35.42新建目录/data/wenda/model/bgem3。3、附件中的文件bge-m3.py放到/data/wenda/model/bgem3目录。，只要安装这一个依赖就行，因为前面已经安装好了fastgpt、docker等环境。2、在魔搭社区下载 git clone。

文本向量模型BGE与BGE-M3

beingstrong的博客

04-01

1万+

文本向量模型BGE与BGE-M3原理介绍

合合信息Embedding模型获得MTEB中文榜单第一

热门推荐

陈橘又青的博客

04-28

2万+

最近几年，可以说大语言模型汇聚了所有的光彩，大语言模型的飞速发展更是吸引着社会各界的目光，这些模型的强大能力源自于Embedding技术的支撑，这种技术将语言转化为机器可理解的数值向量。随着大型语言模型的不断突破，Embedding模型的关键性日益凸显，成为推动人工智能领域向前发展的核心动力。在这个充满无限可能的领域中，每一次技术的飞跃都预示着新的变革和机遇。

如何选择Embedding模型

01-04

### 如何根据应用场景和需求选择合适的Embedding模型 #### 应用场景分析对于不同类型的自然语言处理任务，选择恰当的嵌入模型至关重要。如果目标是实现高效的语义相似度计算或信息检索，则应优先考虑那些专门为此优化过的Embedding模型[^1]。 #### 需求评估当面临多种可用选项时，需考量几个重要因素来决定最适合项目使用的Embedding方案： - **数据特性**：某些预训练好的中文Embedding可能更擅长捕捉特定领域内的词汇关系；因此，在医疗、法律等行业应用中表现优异的模型可能是最佳选择。 - **资源限制**：考虑到硬件条件以及预算约束，轻量级且易于部署的解决方案如通过Xinference提供的服务就显得尤为合适[^2]。 - **精度 vs 效率权衡**：高维向量空间虽然能提供更加精确的结果，但也意味着更高的存储开销与运算成本。反之，低维度可以加快速度却牺牲了一定程度上的准确性。 #### 实践建议为了找到理想的平衡点并最终选定一个或多个候选者进行实验验证，可以从以下几个方面入手： - 浏览公开评测报告获取关于各款流行产品的性能指标对比； - 利用在线平台快速测试几种备选框架的效果差异； - 结合实际业务逻辑调整参数配置直至满足预期标准为止。 ```python import numpy as np from sklearn.metrics.pairwise import cosine_similarity def evaluate_embedding_model(model, test_data): embeddings = model.encode(test_data) similarity_matrix = cosine_similarity(embeddings) return similarity_matrix.mean() ```