【IR 论文】HyDE：让 LLM 对 query 做查询改写来改进 Dense Retrieval

已于 2024-04-30 20:14:18 修改
阅读量1.2k 收藏 20
点赞数 23
分类专栏： LLM Research 文章标签： 语言模型 自然语言处理 RAG 人工智能 算法
于 2024-04-30 20:05:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45668004/article/details/138348081
版权
论文提出HyDE方法，利用LLM生成伪文档，通过无监督学习的密集编码器进行检索，无需相关性标签。适用于早期搜索系统部署，随着数据积累可进一步优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

论文：Precise Zero-Shot Dense Retrieval without Relevance Labels
⭐⭐⭐⭐
CMU, ACL 2023, arXiv:2212.10496
Code: github.com/texttron/hyde

文章目录

论文速读

在以往的 dense retrieval 思路中，需要对 input query 做 encode 来得到 vector，并于 passages 的 vector 做相似度计算实现检索。这里面的 dense encoder 需要把有相关性的 query 和 docs 映射到相近的位置，这就存在两个缺点：

  • dense encoder 需要大量的数据去 learn
  • Hard to generalize when definition of relevance changes

但在现实世界中：

  • 可以用于 train 的具有相关性关联的 data 并不多
  • 检索的需求是多种多样的：
    • 不同的企业或机构有不同的需求
    • 用户的需求也在随着时间发生改变

这就导致了以往的 dense retrieval 的思路并不好用。

本文提出的 HyDE 的思路如下：

最低0.47元/天 解锁文章
HyDE：改善大模型的信息检索的方法
Criss@陈磊
05-21 2223
HyDE，全称为Hypothetical Document Embeddings，是一种用于改进信息检索的方法。它通过生成可用于回答用户输入问题的假设文档，来对齐查询和文档的语义空间。这些文档是由大型语言模型（LLM）根据它们自身学习到的知识生成的，然后这些文档被向量化，用于从索引中检索文档。HyDe的工作过程是从使用LLM基于查询生成假设文档开始的，在完成了假设文档的生成后将生成的假设文档输入编码器，将其映射到密集向量空间中。
HyDE（Hypothetical Document Embeddings）
xycxycooo的博客
07-24 694
HyDE 方法的核心思想是通过生成与查询相关的假设文档来扩展查询的语义信息。这些假设文档被视为查询的“假设性答案”，它们包含了与查询相关的潜在信息，可以帮助检索系统更好地理解查询的意图，并找到更相关的文档。
腾讯: Query改写不是你RAG使用LLM查询优化的唯一方案
最新发布
2401_85375186的博客
01-14 1011
查询抽象旨在提供对事实需求的更广泛视角，可能导致更多样化和全面的结果。这涉及到识别和提炼查询的基本意图和核心概念元素，然后创建一个高层次的表示，捕捉本质含义的同时去除具体细节。如：用精心设计提示引导 LLM 推理，使输出契合原始查询意图；要求 LLMs 对抽象查询进行概念推理，在可验证符号空间生成解决方案；将通用 CoT 推理抽象为含抽象变量推理链，借助领域工具解决查询；用抽象框架构建推理过程，集成不同层次抽象；生成高层抽象信息作查询上下文背景；定义查询方面辅助复杂查询推理；
高级RAG检索中的五种查询重写策略
FrenzyTechAI的博客
05-22 6619
本文深入探讨了 RAG（Retrieval-Augmented Generation）检索策略中的高级查询重写技术。其中重点介绍了子问题查询、HyDE 查询转换、Query2doc、回溯提示和迭代检索生成等五种查询重写策略。这些策略的目的是通过重新构造查询来更准确地定位相关信息，从而提高 RAG 系统的检索效率和答案的精确度。通过 LlamaIndex 提供的代码示例，文章展示了如何实现这些策略，并分享了一些实用技巧。在实际应用中，选择合适的查询重写方法需要根据具体问题和性能要求来权衡。
使用假设文档嵌入 (HyDE) 改进检索
安静的软件工程师
03-10 4061
使用假设文档嵌入 (HyDE) 改进检索
HyDE、UDAPDR（LLM大模型用于信息检索）
nakaizura
05-25 7428
本篇博文继续整理LLM在搜索推荐领域的应用，往期文章请往博主主页查看更多。这篇文章主要做zero-shot场景下的稠密检索，通过借助LLM的力量不需要Relevance Labels，开箱即用。作者提出Hypothetical Document Embeddings (HyDE)方法，即“假设”文档嵌入。具体的做法是通过GPT生成虚构的文档，并使用无监督检索器对其进行编码，并在其嵌入空间中进行搜索，从而不需要任何人工标注数据。
用十篇论文聊聊关于使用LLM做query Rewrite的问题
Angus
02-21 8277
本文介绍了query改写。介绍了七种利用LLM进行query改写方式。包含了10余篇论文，论文有的出自微软、谷歌等大厂之手，还有北大，人大等高校。质量有所保障，对比了不同的query改写的效果。
【RAG论文】HyDE：Precise Zero-Shot Dense Retrieval without Relevance Labels
yanqianglifei的专栏
06-26 1041
这篇文章主要做zero-shot场景下的稠密检索，通过借助LLM的力量不需要Relevance Labels，开箱即用。作者提出Hypothetical Document Embeddings (HyDE)方法，即“假设”文档嵌入。具体的做法是通过GPT生成虚构的文档，并使用无监督检索器对其进行编码，并在其嵌入空间中进行搜索，从而不需要任何人工标注数据。模型结构如下图所示，HyDE将密集检索分解为两个任务，即 instruction-following的LM生成任务和对比编码器执行的文档相似性任务。
Query Rewrite —— 基于大模型的query扩展改写，如何减少LLM的幻觉问题，召回提升15%（北大论文）
Angus
02-20 3016
如何有效的丰富扩展query，是一个提升召回率的关键问题。在大模型时代到来后，大家都开始使用LLM来扩展query。尽管LLM具有显著的文本生成能力，但它也容易产生幻觉，仍然难以代表其训练语料库中包含的完整的长尾知识。在北大的论文中，介绍了通过检索和大模型的结果，提升召回率的方法。论文提出：为了缓解上述模型的幻觉问题，方案是由原始query检索到的文档D，将D提供给模型，作为辅助材料，再让模型生成新的query。先进行一次普通检索，召回数据有可能帮助llm做出更好的预测。
《LLM+搜索改写》10篇论文一览
weixin_57384302的博客
12-18 2749
整理了10篇较新的LLM应用于搜索改写的文章供大家学习参考
论文笔记：Retrieval-Augmented Generation forAI-Generated Content: A Survey
qq_40206371的博客
03-27 2291
北大202402的RAG综述。
面向LLM的RAG技术：综述
安静的软件工程师
01-22 2192
面向LLM的RAG技术：综述
Query Rewriting 优化技术
m0_70960708的博客
08-02 676
HyDE 方法看起来是无监督的，这种方法没有通过标注过的数据来训练任何模型，包括 generative model（译者注：其主要任务是从数据中学习数据的分布，然后可以用来生成类似于训练数据的新数据样本，通常用于生成图片、文本、音频等类型的数据。） 这种方法中，新的 query 用 q+ 表示，是最初的 query（q）和 pseudo-documents（d’）的简单连接，用 [SEP] 分隔：q+ = concat(q, [SEP], d’)。）” 由于特定时间范围的限制，直接解决这一问题极具挑战性。
Advanced RAG 06：生成结果的相关性低？ 快用 Query Rewriting 优化技术
Baihai_IDP的博客
05-07 2130
HyDE 方法看起来是无监督的，这种方法没有通过标注过的数据来训练任何模型，包括 generative model（译者注：其主要任务是从数据中学习数据的分布，然后可以用来生成类似于训练数据的新数据样本，通常用于生成图片、文本、音频等类型的数据。） 这种方法中，新的 query 用 q+ 表示，是最初的 query（q）和 pseudo-documents（d’）的简单连接，用 [SEP] 分隔：q+ = concat(q, [SEP], d’)。）” 由于特定时间范围的限制，直接解决这一问题极具挑战性。
RAG 查询改写方法：HyDE、LLM4CS、Query2doc、rewrite-retrieve-read、Iter-RetGen、STEP-BACK Prompting
beingstrong的博客
07-21 3156
RAG 查询改写方法：HyDE、LLM4CS、Query2doc、rewrite-retrieve-read、Iter-RetGen、STEP-BACK Prompting思路介绍
Query Rewrite —— 基于大模型的query扩展改写，HyDE 生成假设性答案（论文）
Angus
02-21 2225
通常用户的query是无法预测的。给定一个候选集，直接命中和query最相关的文档是一件困难的事情。这篇论文中，提出了HyDE，也就是根据query，利用LLM去生成假设性回答。然后将给出的假设性回答，去做文本的embedding，然后做向量检索召回。论文中证明，HyDE这种方式相比较BM25可以。
使用HyDEQueryTransform优化查询 —— 实践与示例
ppoojjj的博客
07-10 339
HyDEQueryTransform是一种通过生成假设文档并将其用于嵌入查找的查询转换技术。这种方式可以在某些情况下显著提高查询结果的准确性，特别是对于需要上下文理解的复杂查询。
万字长文总结检索增强 LLM
WitsMakeMen的专栏
09-15 1516
检索增强 LLM ( Retrieval Augmented LLM )，简单来说，就是给 LLM 提供外部数据库，对于用户问题 ( Query )，通过一些信息检索 ( Information Retrieval, IR ) 的技术，先从外部数据库中检索出和用户问题相关的信息，然后让 LLM 结合这些相关信息来生成结果。这种模式有时候也被称为 检索增强生成 ( Retrieval Augmented Generation, RAG )。下图是一个检索增强 LLM 的简单示意图。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值