LLM-Embedder

已于 2023-10-27 21:01:24 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： Embedding 文章标签： 论文阅读
于 2023-10-27 19:52:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/comli_cn/article/details/134061232
版权
LLM-Embedder是一个训练目标为支持大语言模型检索增强的统一embedding模型，强调知识、长期上下文、上下文学习和工具学习四个关键能力。模型基于BAAI/bge-base-en，使用多种任务和数据集进行训练，如问答、指令调整、生成等。训练中应用了 Reward from LLM、Instruction-based Fine-Tuning、Homogeneous In-Batch Negative Sampling 和 Stabilized Distillation 等技术，以优化检索增强效果并稳定训练过程。
摘要由CSDN通过智能技术生成

1. 目标

训出一个统一的embedding模型LLM-Embedder，旨在全面支持LLM在各种场景中的检索增强

2. 模型的四个关键检索能力

  • knowledge：解决knowledge-intensive任务
  • memory：解决long-context modeling
  • example：解决in-context learning（上下文学习）
  • tool：解决tool learning

3. 要解决的问题

  • 嵌入模型必须优化其对LLM的最终检索增强影响，而不是仅仅关注中间检索结果
  • 不同的检索任务旨在捕捉不同的语义关系，它们的影响可能受到相互干扰

4. base model

是在BAAI/bge-base-en的基础上训练的

5. 训练数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
comli_cn
关注
专栏目录
订阅专栏
LLM--如何使用SentenceTransformer将文本向量化
penriver的博客
03-31 960
将文本向量化是自然语言处理（NLP）中的一项关键步骤，其主要目的是将原本难以直接被计算机理解的自然语言文本转换成数值形式的向量，以便于后续的机器学习算法和深度学习模型进行处理、分析和建模 本文介绍如何使用SentenceTransformer将文本向量化
国产大模型开源一哥再登场，最强双语LLM「全家桶」级开源！340亿参数超越Llama2-70B
everydaynews的博客
10-13 215
就在刚刚，340亿参数的国产大模型悟道·天鹰Aquila2强势冲上榜首，成为最强开源中英双语大模型。更YYDS的是，这次智源不仅开源了明星模型，还赠送了非常有口碑的模型周边！
transformer-embedder:基于PyTorch和:hugging_face:变形金刚的Word Level Transformer层
04-07
变压器包埋机 基于PyTorch和Word的Word Level Transformer层 :hugging_face: 变形金刚。 如何使用 从安装库： pip install transformer-embedder 它提供了一个PyTorch层和一个令牌生成器，支持Huggingface的几乎所有预训练模型 库。 这是一个简单的示例： import transformer_embedder as tre tokenizer = tre . Tokenizer ( "bert-base-cased" ) model = tre . TransformerEmbedder ( "bert-base-cased" , subtoken_pooling = "mean" , output_layer = "sum" ) example = "This is a sample sentence" inputs
Llama 3.1模型开源及RAG问答最新进展：兼看角色扮演大模型、text-SQL总结
m0_59164520的博客
07-24 1294
本文主要回顾了昨日大模型进展，主要动态主要围绕RAG、text-SQL、Llama 3.1模型开源等几个方面的内容。
LLMs、Embedders 和 Vector Databases
顺其自然~专栏
04-10 1039
LLMs（大语言模型）、Embedders 和 Vector Databases 是自然语言处理和机器学习领域的三个相关但不同的概念。下面分别解释这三个概念，并说明它们之间的关系。
Spring AI Embedding模型概念、源码分析和使用示例
2401_85378759的博客
06-21 1205
Embedding模型是指将高维度的数据（例如文字、图片、视频）映射到低维度空间的过程。简单来说，embedding向量就是一个N维的实值向量，它将输入的数据表示成一个连续的数值空间中的点。嵌入就相当于给文本穿上了“数字化”的外衣，目的是让机器更好的理解和处理。
【LLM大模型】Embedding到底干了啥？
Y525698136的博客
07-29 1131
但是了解了之后依然很抽象，到底embed了啥？有啥用？ 一个词和一句话都是如何Embedding的？
如何利用大语言模型（LLM）打造定制化的Embedding模型
FrenzyTechAI的博客
01-09 3905
在探索大语言模型（LLM）应用的新架构时，知名投资公司向量数据库是预处理流程中系统层面上最关键的部分。它能够高效地存储、比较和检索高达数十亿个嵌入（也就是向量）。那么，为什么要如此强调向量数据库的重要性呢？这是因为计算机虽然功能强大，但并不擅长直接理解文本、图像、音频等人类友好的数据格式。通过将这些数据转换成数值型的“向量”，我们能够让计算机更高效地处理它们。而普通的数据库并不是为了处理这样的向量而设计的，尽管现在随着生成式 AI 技术的普及，它们开始逐渐支持向量操作。
面向LLM的RAG技术：综述
安静的软件工程师
01-22 1773
面向LLM的RAG技术：综述
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
丨汀、的博客
05-22 569
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型
丨汀、的博客
05-21 924
LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型
基于Ollama+AnythingLLM搭建本地私有知识库系统
热门推荐
sheex2012的博客
04-30 1万+
本文介绍了LLM在落地应用中的不足，并引入了RAG框架和原理，以及RAG在私有知识库建设中的重要作用。并以Ollama和AnythingLLM为实现手段，构建了并测试了本地知识库，测试结果表明，有了RAG的加持，LLM的回答结果更加贴切，有效。
论文解读 Retrieve Anything To Augment Large Language Models
weixin_43751415的博客
10-30 1642
实验表明，为一种场景优化的特定任务检索器在其他场景中的性能有限，说明不同检索任务之间的训练影响并不总是可传递的。可以观察到，尽管特定任务的训练可以为其相应的场景（例如，知识增强和上下文学习）提供有竞争力的性能，但当应用于其他用途时，它们的影响会严重削弱。这部分代表了模型对候选的相似度评分，其中𝒆𝑞是查询的嵌入向量，𝒆𝑝𝑖是候选𝑝𝑖的嵌入向量。优化后的公式通过引入稳定化处理（通过重新排序候选列表中的候选样本并引入一种新的权重机制）和多样性采样策略（通过重新排序候选列表中的候选样本并引入一种新的权重机制）。
如何为你的 LLM 应用选择最合适的 Embedding 模型
最新发布
weixin_41446370的博客
09-02 1242
嵌入是代表文本、图像、音频、视频等信息的数字（矢量）数组。这些数字共同捕捉数据的语义和其他重要特征。这样做的直接后果是，在向量空间中，语义相似的实体彼此靠近，而不相似的实体则相距较远。为清晰起见，请看下图对高维向量空间的描述：在自然语言处理（NLP）中，嵌入模型是一种算法，旨在学习和生成给定信息的嵌入。在当今的人工智能应用中，通常使用大型语言模型（LLM）创建嵌入模型，这些模型在海量语料库中进行训练，并使用尖端算法学习数据中的复杂语义关系。
LLM大模型：如何选择合适的 Embedding 模型？
AAI666666的博客
06-29 935
检索增强生成（RAG）是生成式 AI （GenAI）中的一类应用，支持使用自己的数据来增强 LLM 模型（如 ChatGPT）的知识。RAG 通常会用到三种不的AI模型，即 Embedding 模型、Rerankear模型以及大语言模型。本文将介绍如何根据您的数据类型以及语言或特定领域（如法律）选择合适的 Embedding 模型。HuggingFace 的是一个一站式的文本 Embedding 模型榜！您可以了解每个模型的平均性能。
Retrieval-Augmented Generation for Large Language Models: A Survey
weixin_43564920的博客
01-22 1718
09.结论本文的总结如图7所示，突显了RAG在增强LLM能力方面的重大进步，这是通过将语言模型中的参数化知识与外部知识库中广泛的非参数化数据整合实现的。我们的调查展示了RAG技术的演变及其对知识密集型任务的影响。我们的分析勾勒出RAG框架内的三种发展范式：初级RAG、高级RAG、模块化RAG，每一种都比上一种有所进步。高级RAG范式通过纳入复杂的架构元素，如查询重写、块重新排序和提示摘要，超越了初级RAG。这些创新带来了更为细致和模块化的架构，增强了LLM的性能和可解释性。
Embedder Models是什么
顺其自然~专栏
08-08 360
例如，在NLP中，通过词嵌入技术（如Word2Vec、GloVe或BERT），模型可以将具有相似意义的词映射到向量空间中的相近位置，从而捕获单词的语义特征。，能够捕捉到复杂的模式和深层次的关系，这是传统方法难以实现的。例如，在图像处理领域，使用卷积神经网络（CNN）等模型提取图像特征并将其转换为高维向量，这些向量可以用于图像识别、分类或检索任务。同样，在声音处理领域，音频信号可以被转换为特征向量，包括音调、节奏和音色等信息，从而用于声音识别或音乐生成。比如，在处理大型文档时，可以。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值