腾讯开源Conan-embedding，登顶CMTEB

最新推荐文章于 2024-10-10 11:26:13 发布

程序猿李巡天

最新推荐文章于 2024-10-10 11:26:13 发布

阅读量2.5k

点赞数 18

文章标签：开源 embedding python tensorflow 深度学习 chatgpt 人工智能

本文链接：https://blog.csdn.net/m0_59235945/article/details/141726426

版权

今天给大家带来一篇腾讯最新开源的向量模型的论文，模型开源，在CMTEB上拿了第一名！嵌入/向量模型是Agent、RAG中很关键的一个组件，所以也是一个卷的很激烈的一个领域。

Conan-embedding: General Text Embedding with More and Better Negative Samples

随着RAG（检索增强生成）技术的日益普及，嵌入模型的能力正受到越来越多的关注。嵌入模型主要通过对比学习进行训练，其中负样本是一个关键组件。以往的研究提出了各种硬负样本挖掘策略，但这些策略通常被作为预处理步骤使用。在本文中，我们提出了conan-embedding模型，该模型最大化地利用更多、更高质量的负样本。具体来说，由于模型处理预处理负样本的能力在训练过程中不断发展，我们提出了一种动态硬负样本挖掘方法，以便在整个训练过程中使模型接触到更多具有挑战性的负样本。其次，对比学习需要尽可能多的负样本，但受限于GPU内存的限制。因此，我们使用了Cross-GPU平衡损失（Cross-GPU balancing Loss）来提供更多的负样本进行嵌入训练，并在多个任务之间平衡批量大小。此外，我们还发现LLM（大型语言模型）生成的提示-响应对可以用于嵌入训练。我们的方法有效地增强了嵌入模型的能力，目前在Chinese Massive Text Embedding Benchmark（CMTEB）排行榜上排名第一。

模型开源地址：https://huggingface.co/TencentBAC/Conan-embedding-v1

Conan-embedding模型，主要是提出了两个的新点子：Dynamic Hard Negative Mining和Cross-GPU Batch Balance Loss

Dynamic Hard Negative Mining：就是在训练过程中动态地挖掘难负例，每100次迭代检查一次，如果负例的分数乘以1.15小于初始分数且绝对值小于0.8，就认为这个负例不再困难，并用新的难负例替换它。
Cross-GPU Batch Balance Loss, CBB Loss：对比学习需要尽可能多的负样本，但受到GPU内存限制。利用多个GPU引入更多的负样本，在多个任务之间平衡负样本的数量，提高训练效率和效果。

论文里还提到了，用LLM生成的prompt-response对来训练嵌入模型，这样可以让模型更聪明，处理起文本来更得心应手。

Conan-embedding在CMTEB的六个任务上都取得了优异的成绩，超越了之前所有的模型。消融研究也证明了动态硬负样本挖掘和CBB Loss这两个方法的有效性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述