公司项目需求，对一些embedding模型做了测试，结果发现。。。。。。

最新推荐文章于 2024-07-25 10:54:29 发布
最新推荐文章于 2024-07-25 10:54:29 发布
阅读量211 收藏
点赞数 2
文章标签： embedding llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46883219/article/details/140175745
版权

最近对embedding_model得输入长度和显存占用做了一些测试，结果发现只要bge-m3才能满足超大文本块得embedding需求。第一列为模型部署运行需要得显存，以下测试的字符都为中文字符，如3000，即为3000个汉字。

bge-m3300080009000
2492MB3754MB10610MB10982MB
bge-large-zh-1.5v400500600
1564MB1676MB1702MB1702MB
m3e-base400500600
754MB842MB846MB846MB
m3e-large400500600
1564MB1674MB1702MB1702MB
YaoAIPro
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
semantic_similarity:中文语义相似度模型测试
04-03
在“semantic_similarity:中文语义相似度模型测试”这个主题中，我们将深入探讨这一模型及其在实际应用中的测试过程。 首先，我们要了解什么是语义相似度。语义相似度是自然语言处理（NLP）中的一个核心概念，它...
facenet模型 20170512-110547
08-15
**Facenet模型详解** FaceNet是一种深度学习模型，由谷歌的研究人员...这个特定版本的模型"20170512-110547"可能已经过优化，适合特定的场景和需求。在使用时，应根据具体任务调整模型参数，或进一步微调以提升性能。
合合信息Embedding模型获得MTEB中文榜单第一
陈橘又青的博客
04-28 1万+
最近几年，可以说大语言模型汇聚了所有的光彩，大语言模型的飞速发展更是吸引着社会各界的目光，这些模型的强大能力源自于Embedding技术的支撑，这种技术将语言转化为机器可理解的数值向量。随着大型语言模型的不断突破，Embedding模型的关键性日益凸显，成为推动人工智能领域向前发展的核心动力。在这个充满无限可能的领域中，每一次技术的飞跃都预示着新的变革和机遇。
智能时代 | 合合信息Embedding模型荣获C-MTEB榜单第一
m0_61933976的博客
04-23 1万+
智能时代 | 合合信息Embedding模型荣获C-MTEB榜单第一
RAG——如何选择文本embedding模型
Angus
01-07 1112
想要做语义检索，迫切需要embedding模型来做文本的嵌入。也就是转向量。huggingface上那么多text embedding模型，到底应该选择什么模型效果更好呢？有条件的可以自己测试，如果不具备这个能力，可以看看这个排行榜！可以根据自己的场景，自己的资源，自己的语言需求来选择合适的模型，再去做测试，看看是否能够满足。
开发RAG应用，你必须知道的7个Embedding模型
python12345_的博客
06-28 1185
在自然语言处理（NLP）领域，Embedding模型是将文本数据转化为数值向量的核心技术，从而让计算机能够便捷地衡量文本间的语义关联，这种表示法已成为多种基础NLP任务的核心，如文本相似度判定、语义搜索、信息检索、文本重新排序、聚类以及作为下游任务的特征输入。
合合信息Embedding模型：引领中文文本向量化技术新高度
阿牛的博客
04-23 1万+
目前，随着 LangChain + LLM模型的火热，除了层出不穷的大模型外，因为检索的能力会很大程度影响最终的问答效果，所以文本的向量表示模型也是大家比较关注的。在人工智能的世界里，文本向量化技术是连接自然语言处理（NLP）与机器学习的桥梁。它能将复杂的文本数据转换成机器可理解的向量形式，从而使得机器能够更加高效地处理和分析文本数据。最近，合合信息发布的acge_text_embedding 句子向量模型在中文文本向量化领域取得了突破性进展，荣获MTEB中文榜单第一的成绩。
一文通透Text Embedding模型：从text2vec、openai-text embedding到m3e、bge
热门推荐
结构之法 算法之道
12-31 2万+
判断哪些文本嵌入模型效果较好，通常需要一个评估指标来进行比较，《MTEB: Massive Text Embedding Benchmark(海量文本嵌入基准)》就是一个海量文本嵌入模型的评估基准论文地址：https://arxiv.org/abs/2210.07316MTEB包含8个语义向量任务，涵盖58个数据集和112种语言。通过在MTEB上对33个模型进行基准测试，我们建立了迄今为止最全面的文本嵌入基准。我们发现没有特定的文本嵌入方法在所有任务中都占主导地位。
合合信息embedding模型登顶MTEB中文榜单：中文文本向量化技术的创新突破
商务合作 | 共同学习 | 携手共进
05-05 9312
合合信息 embedding 模型登顶 MTEB 中文榜单：中文文本向量化技术的创新突破。
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 947
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
使用LangChain+Ollama的时候怎么使用其他的embedding模型
qysh123的专栏
06-25 1161
其中有两个是Deprecated的，而我们平时用到的HuggingFace的embedding model都基本以SentenceTransformer形式提供，我测试了一下，embeddings.huggingface.HuggingFaceBgeEmbeddings这个类是可以使用的，embeddings.huggingface.HuggingFaceInstructEmbeddings这个会报错，也没有仔细检查原因。经过测试，发现比Ollama自己的embedding模型的中文效果好多了。
微博情感分析，文本分类，毕业设计项目.zip
09-03
作为毕业设计项目，这通常意味着学生需要完成一个完整的项目流程，包括需求分析、系统设计、开发实现、测试优化和文档撰写。管理系统可能指的是数据管理、模型训练和结果展示的平台，使用数据库（如MySQL）存储数据...
Sams Extending and Embedding PHP
11-01
《Sams Extending and Embedding PHP》是一本深入探讨PHP扩展和嵌入技术的专业书籍，主要面向PHP开发者，特别是那些希望提升PHP性能、定制化PHP功能或者将PHP整合到其他应用环境中的高级开发者。这本书详细讲解了...
word_embedding_storage：各种数据库中单词嵌入的存储和检索
02-04
"word_embedding_storage"项目关注的是如何在不同的数据库中存储和检索这些嵌入数据，这对于大规模NLP应用来说至关重要。下面我们将详细探讨相关的知识点。 1. **单词嵌入**：单词嵌入是将每个单词映射到一个多维...
Meta推出全新大语言模型“Llama 3.1”
weixin_41446370的博客
07-24 470
Meta公司高管表示，该模型主要用于为Meta公司内部和外部开发者的聊天机器人提供动力，并拥有广泛的新功能，包括改进的推理能力，可以帮助解决复杂的数学问题或立即提取一整本书的要点。“我认为，对于人工智能助手来说，最重要的产品将是它有多智能，”扎克伯格在接受系列节目The Circuit with Emily Chang的采访时表示，“我们正在打造的Llama模型是世界上最先进的模型。扎克伯格希望开放使用的策略将推动该公司的产品成为其他成功初创企业和产品的基础，令Meta在行业的远期发展中拥有更大的影响力。
Meta发布Llama 3.1模型
2402_84466582的博客
07-24 1354
Meta在Llama 3.1模型的训练和优化过程中采用了先进的算法和技术，确保了模型不仅在规模上有所突破，同时在训练效率和资源消耗上实现了平衡。通过开源模型，Meta致力于降低人工智能技术的准入门槛，使得更多来自不同背景的研究者和开发者能够参与进来，共同推动技术进步，实现人工智能的普惠化。这一特点不仅提升了模型的性能，也为研究者和开发者提供了更多的定制化空间。Llama 3.1在超过15万亿个token的数据上进行训练，这一数据量远超先前的LLaMA模型版本，显示了Meta在数据收集和处理方面的强大能力。
泄露的基准测试表明Meta Llama 3.1 405B模型的性能可能超过OpenAI GPT-4o
weixin_41446370的博客
07-23 491
今天，LocalLLaMA 子论坛泄露了即将推出的 Llama 3.1 8B、70B 和 405B 模型的早期基准测试结果。泄露的数据表明，Meta Llama 3.1 405B 可以在几个关键的人工智能基准测试中超越目前的领先者 OpenAI 的 GPT-4o。尽管 OpenAI 即将推出的 GPT-5 预计将具备先进的推理能力，可能会挑战 Llama 3.1 在 LLM 领域的潜在领导地位，但 Llama 3.1 在 GPT-4o 中的强劲表现仍然彰显了开源人工智能开发的力量和潜力。
Meta Llama 3.1：AI领域的新里程碑
最新发布
BuluAI的博客
07-25 1425
Llama 3.1的发布不仅是Meta在AI领域的一次重大突破，也为整个AI社区带来了新的机遇和挑战。其强大的性能、开放的生态和先进的技术，无疑将推动AI技术的进一步发展和应用。
gcn实现graph embedding
03-29
3. 训练数据的选择和划分：根据数据量和模型的复杂度，选择合适的训练数据，并进行训练集、验证集和测试集的划分。 4. 嵌入表示的解释和应用：对于嵌入表示的结果，需要进行解释和应用，包括可视化、聚类、分类等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YaoAIPro

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值