大模型学习-RAG Query Transformations

最新推荐文章于 2024-08-25 21:50:20 发布
最新推荐文章于 2024-08-25 21:50:20 发布
阅读量271 收藏 10
点赞数 3
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fj1024/article/details/139783297
版权

 Query Transformations有五种方法：1、Multi Query Retriever
2、RAG-Fusion
3、Decomposition
4、Step Back
5、HyDE

主要目的将输入的query变为一种便于检索的形式。

1、Multi Query Retriever

 利用LLM将query生成多个与query相似的问题，然后每个问题根据向量数据库检索出相关上下文，并去除重复上下文，构建背景知识，进行RAG问答。

2、RAG-Fusion

与Multi Query Retriever比较相似，区别在于将每个检索出来的文档进行一个互惠排名融合算法RRF，原理是对每个文档的排名进行加权融合，得到所有问题检索出来文档的排名，保留前n个。

3、Decomposition

顺序解决

将问题拆分为多个子问题，然后再进行vector DB检索，递进式回答问题，上个问题答案和下一个问题一起输入LLM中进行回答。

独立回答最后汇总结果

4、Step Back

基于思维链推理，从一个具体的问题，通过一个few-shot的方式，生成一个更层次更抽象的问题，以便检索出相关文档。

5、HyDE

hypothetical document embedding ，根据query生成一个假设的doc，然后根据doc去检索相关的doc出来。

代码：rag-from-scratch/rag_from_scratch_5_to_9.ipynb at main · langchain-ai/rag-from-scratch · GitHub

fj1024
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大模型-大模型RAG应用基础认知视频
03-16
在IT行业中，大模型是指那些拥有海量参数、训练数据和复杂结构的深度学习模型，它们在处理各种自然语言处理（NLP）任务时表现出强大的性能和泛化能力。本视频系列专注于大模型的一个具体应用——RAG（Retrieval-...
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
一文读懂：大模型RAG（检索增强生成）
热门推荐
m0_59164304的博客
04-11 1万+
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
大模型系列——解读RAG
我相信......
02-04 2051
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG ...
大模型的训练与应用 | 七、进阶的RAG技术（下篇）：Query变换、聊天引擎、Query 路由、响应合成.....
Androiddddd的博客
07-26 768
学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频，免费分享！
大模型+RAG，全面介绍！
2401_84495872的博客
06-03 626
大型语言模型（LLMs）在处理特定领域或高度专业化的查询时存在局限性**，如生成不正确信息或“幻觉”。**缓解这些限制的一种有前途的方法是检索增强生成（RAG），
Query Rewrite —— 基于大模型的query扩展改写（基于思维链），召回提升3%
Angus
02-19 3710
查询扩展是一种广泛应用于提高搜索系统召回率的技术。在本文中，我们提出了一种利用大型语言模型（llm）的生成能力的查询扩展方法。与传统的查询扩展方法，如伪相关反馈（PRF），它依赖于检索一组好的伪相关文档来扩展查询不同，我们依赖于LLM的生成和创造性能力，并利用模型中固有的知识。我们研究了各种不同的提示，包括零射击、少射击和思维链（CoT）。我们发现CoT提示对于查询扩展特别有用，因为这些提示指示模型逐步分解查询，并可以提供大量与原始查询相关的术语。
RAG Fusion简明教程
新缸中之脑
02-01 1451
RAG Fusion (Raudaschl, 2023) 提供了解决 RAG 模型局限性的最佳解决方案。不同的限制，例如人工搜索效率低下和搜索过于简单化，会导致相关性较低的结果；然而，借助 RAG Fusion，人们可以轻松克服这些限制。它通过生成多个用户查询并使用倒数排名融合等策略对结果进行排名来克服挑战。这种临时技术弥合了用户查询与其预期含义之间的差距。RAG Fusion 技术使用编程语言、向量搜索数据库、具有查询生成功能的LLM以及结果重新排名步骤。
3.RAG&LLM 从零学习笔记--- Query Transformations Part-1
weixin_47059517的博客
06-24 695
查询转换是一组专注于重写和/或修改问题以进行检索的方法本篇介绍5种。
《AI大模型应用》--RAG 检索增强生成！一个使用 OpenAI API 和 Milvus 向量数据库的问答系统.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
《AI大模型应用》--从0-1系统性快速学习大模型检索增强技术RAG.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
《AI大模型应用》--唐诗三百首RAG检索增强生成.zip
07-15
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
Query Rewrite —— 基于大模型的query扩展改写，HyDE 生成假设性答案（论文）
Angus
02-21 1411
通常用户的query是无法预测的。给定一个候选集，直接命中和query最相关的文档是一件困难的事情。这篇论文中，提出了HyDE，也就是根据query，利用LLM去生成假设性回答。然后将给出的假设性回答，去做文本的embedding，然后做向量检索召回。论文中证明，HyDE这种方式相比较BM25可以。
Freertos学习笔记
qq_45031559的博客
08-21 648
Freertos学习笔记
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 912
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
day38-栈和队列理论学习【python】
canGfly的博客
08-21 465
栈（Stack）: 使用 Python 的list实现。主要操作有pushpoppeek, 和is_empty。队列（Queue）: 使用实现。主要操作有enqueuedequeuepeek, 和is_empty。这两种数据结构可以通过这些操作灵活地处理和存储数据。在实际应用中，选择使用哪种数据结构取决于具体的需求和场景。ok了，就到这里叭～～～​​​。
Python3学习（一）
qq_54161774的博客
08-21 1265
python的基础语法
Golang学习笔记-Golang中的锁
最新发布
qq_24428851的博客
08-25 548
Go标准库的中的sync.Cond是一个条件变量，它可以让一系列的goroutine都在满足特定条件下时候被唤醒，每一个 sync.Cond 结构体在初始化时都需要传入一个互斥锁，我们可以通过下面的例子了解它的使用方法。因为请求的哈希在业务上一般表示相同的请求，所以上述代码使用它作为请求的键。这个是Go语言的扩展包中提供的另外一个信号量，它能够在一个服务中抑制对下游的多次重复请求，比如在redis的缓存雪崩中，能够限制对同一个 Key 的多次重复请求，减少对下游的瞬时流量。上述两个加起来，只占用8个字节。
学习rag大模型关于java
04-23
RAG（Retrieval-Augmented Generation）是一种基于检索的生成模型，它结合了检索和生成的优点，可以用于回答问题、生成文本等任务。关于学习RAG大模型与Java相关的内容，以下是一些可能的学习路径和资源： 1. 学习Java基础知识：了解Java的语法、面向对象编程、异常处理、集合框架等基础知识是学习RAG大模型与Java相关内容的前提。可以通过在线教程、书籍或视频课程来学习Java的基础知识。 2. 学习自然语言处理（NLP）基础知识：RAG大模型是一个用于自然语言处理任务的模型，因此了解NLP的基本概念和技术是必要的。可以学习NLP中的文本预处理、词向量表示、语言模型等相关知识。 3. 学习RAG模型原理和实现：了解RAG模型的原理和实现方式是学习RAG大模型与Java相关内容的核心。可以阅读相关论文、博客文章或参考开源实现来深入了解RAG模型的工作原理和实现细节。 4. 实践项目：通过实践项目来巩固所学知识。可以选择一些与Java和NLP相关的项目，例如文本生成、问答系统等，利用RAG大模型进行实现和应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值