HyDE（Hypothetical Document Embeddings）：探索假设性文档嵌入在AI检索中的应用

最新推荐文章于 2025-04-08 10:58:24 发布
最新推荐文章于 2025-04-08 10:58:24 发布
阅读量1.2k 收藏 18
点赞数 19
分类专栏： prompt 文章标签： 人工智能 hyde RAG 检索增强生成 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/llm_way/article/details/144635205
版权

随着人工智能技术的不断发展，信息检索领域也在持续演进。其中，一种名为 HyDE（Hypothetical Document Embeddings）的方法崭露头角，为零样本密集检索带来了新的突破。HyDE 通过结合大语言模型的生成能力和对比学习模型的编码能力，在不依赖相关性标签的情况下实现了有效的信息检索。今天我们一起聊一下 HyDE。

一、HyDE的基本概念

HyDE，全称假设性文档嵌入，是一种旨在增强AI系统中零样本密集检索能力的方法（RAG（Retrieval Augmented Generation）及衍生框架：CRAG、Self-RAG与HyDe的深入探讨）。其创新之处在于采用了两步走的策略：首先，利用大型语言模型生成一个假设性文档；其次，使用对比学习模型对这个文档进行编码。这种方法结合了生成式语言模型和密集检索技术的优势，为信息检索带来了新的可能性。

为了更好地理解HyDE，我们需要了解对比学习模型的基本概念。对比学习是一种机器学习技术，其核心在于让模型学会区分相似与不相似的数据点。在文档检索的语境下，对比学习模型能够学习以一种方式表示文档，使得相似的文档在表示空间中彼此接近，而不相似的文档则彼此远离。这种表示方式使得基于相似性的检索变得高效。

二、HyDE 的工作原理

HyDE的工作流程可以细分为以下几个步骤：

  1. 查询输入

    用户向系统提交一个查询或问题，这是整个检索过程的起始点。例如，用户可能询问 “如何提高英语口语能力？”。

  2. 假设文档生成

    一

最低0.47元/天 解锁文章
RAG优化：Python从零实现假设性文档嵌入(HyDE)
AI人工智能的学习之路
03-25 607
HyDE是一种创新的检索技术，它能在检索前把用户查询转换成"假设性答案文档"。这就像是你问"怎么做红烧肉？"，系统先脑补出一本《中华美食大全》，然后再去书架上找最匹配的菜谱。传统RAG系统直接嵌入用户的短查询，但这就好比用钓鱼竿去捞鲸鱼——不太给力啊！生成一个回答查询的假设性文档嵌入这个扩展后的文档而不是原始查询检索与这个假设性文档相似的文档生成更具上下文相关性的答案好啦，亲爱的读者朋友们，今天的HyDE之旅就到这里啦！
使用假设文档嵌入 (HyDE) 改进检索
安静的软件工程师
03-10 4158
使用假设文档嵌入 (HyDE) 改进检索
在RAG（检索增强生成）系统中，HyDE详细解析与实战应用指南
主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾
04-07 571
在RAG（检索增强生成）系统中，（Hypothetical Document Embeddings，假设性文档嵌入）是一种通过来优化检索效果的技术，其核心思想是让大模型（LLM）先“想象”可能的答案文档，再用这些假设文档去检索真实内容。fill:#333;color:#333;color:#333;fill:none;用户问题LLM生成假设答案向量化假设答案检索真实文档生成最终答案。
[深入探索HyDE: 使用Hypothetical Document Embeddings提升文档检索效果]
ndAbsAfaqwdav的博客
12-12 656
HyDE通过生成假设文档来提高文档检索的相关性，是一种创新且实用的技术。Hypothetical Document Embeddings论文LangChain官方文档OpenAI API介绍。
HyDE（Hypothetical Document Embeddings）
xycxycooo的博客
07-24 726
HyDE 方法的核心思想是通过生成与查询相关的假设文档来扩展查询的语义信息。这些假设文档被视为查询的“假设性答案”，它们包含了与查询相关的潜在信息，可以帮助检索系统更好地理解查询的意图，并找到更相关的文档。
构建LangChain应用程序的示例代码：35、如何使用假设性文档嵌入（HyDE）技术来改善文档索引教程
Hugo的博客
06-17 878
除了使用预配置的提示外，我们也可以轻松构建自己的提示，并在生成文档的LLMChain中使用它们。如果我们知道查询将涉及的领域，这将非常有用，因为我们可以调整提示以生成更类似于该领域的文本。以下示例中，我们将提示条件设置为生成有关国情咨文的文本。# 定义自定义提示模板prompt_template = """请回答用户关于最近一次国情咨文的问题问题：{question}答案："""# 创建提示模板对象# 初始化使用自定义提示的LLMChain# 使用自定义提示加载HyDE# 嵌入查询。
HyDE 假设性文档嵌入：大模型 + 对比学习，从关键词相似度搜索到语义搜索
Debroon
07-04 2079
，以及“인간은 언제 피를 사용했나요？这个模型的特点是它不直接计算查询与文档之间的相似度，而是通过生成文档和编码这两个步骤间接地处理查询，使得系统能够以零样本的方式工作，即不依赖于具体的相关性标签进行训练。通过这种方式，HyDE不仅提高了检索的相关性和准确性，还能处理更复杂和多样化的查询，特别适用于需要高度解释性和语义理解的领域，如医疗、法律和科研文献检索。例如，如果指令是“写一个回答问题的段落”，InstructLM生成的文档虽然不是真实的，但能够反映出与查询相关的内容模式。
揭秘HyDE：提升AI检索能力的利器
adfyvatbia的博客
11-27 354
HyDE是一种强大的检索技术，能够在很多场景下显著提升搜索效果。想要深入了解HyDE的工作原理，可以查阅相关论文here。LangChain文档HyDE相关论文。
万字长文总结检索增强 LLM
WitsMakeMen的专栏
09-15 1538
检索增强 LLM ( Retrieval Augmented LLM )，简单来说，就是给 LLM 提供外部数据库，对于用户问题 ( Query )，通过一些信息检索 ( Information Retrieval, IR ) 的技术，先从外部数据库中检索出和用户问题相关的信息，然后让 LLM 结合这些相关信息来生成结果。这种模式有时候也被称为 检索增强生成 ( Retrieval Augmented Generation, RAG )。下图是一个检索增强 LLM 的简单示意图。
HyDE：改善大模型的信息检索的方法
Criss@陈磊
05-21 2382
HyDE，全称为Hypothetical Document Embeddings，是一种用于改进信息检索的方法。它通过生成可用于回答用户输入问题的假设文档，来对齐查询和文档的语义空间。这些文档是由大型语言模型（LLM）根据它们自身学习到的知识生成的，然后这些文档被向量化，用于从索引中检索文档。HyDe的工作过程是从使用LLM基于查询生成假设文档开始的，在完成了假设文档的生成后将生成的假设文档输入编码器，将其映射到密集向量空间中。
HyDE、UDAPDR（LLM大模型用于信息检索）
nakaizura
05-25 7511
本篇博文继续整理LLM在搜索推荐领域的应用，往期文章请往博主主页查看更多。这篇文章主要做zero-shot场景下的稠密检索，通过借助LLM的力量不需要Relevance Labels，开箱即用。作者提出Hypothetical Document Embeddings (HyDE)方法，即“假设”文档嵌入。具体的做法是通过GPT生成虚构的文档，并使用无监督检索器对其进行编码，并在其嵌入空间中进行搜索，从而不需要任何人工标注数据。
【AI大模型】HyDE 如何改进了传统的 RAG 方法？
2301_81888214的博客
12-07 1088
HyDE的方法就是让AI先自己猜一个答案，然后用这个猜测去寻找相关的真实信息，最后结合起来，给出一个更准确、更有参考依据的回答。
LLM之RAG实战（二十八）| 探索RAG query重写
wshzd的博客
03-08 3414
2.将生成的假设文档输入编码器，将其映射到密集向量f(dk)，编码器具有过滤功能，过滤掉假设文档中的噪声。在密集检索中，新查询表示为q+，是原始查询（q）和伪文档（d'）的简单级联，由[SEP]分隔：q+=concat（q，[SEP]，d'）。我们可以看到，通过将原始查询“后退”到更抽象的问题，并使用抽象查询和原始查询进行检索，LLM提高了其遵循正确推理路径找到解决方案的能力。此外，还有一些方法，如查询路由、将查询分解为多个子问题等，它们不属于查询重写，但它们是预检索方法，这些方法将来将有机会引入。
使用假设文档嵌入 (HyDE) 改进信息检索和 RAG
asd8705的专栏
12-03 278
HyDE，即假设文档嵌入，是一种使用“假”（假设）文档来改进大型语言模型 (LLM) 生成的答案的检索方法。具体来说，HyDE 使用 LLM（原始实现中使用了 GPT-3.5）来创建查询的假设答案。此答案将转换为向量嵌入，并放置在与真实文档相同的空间中。当您搜索某些内容时，系统会找到与此假设答案最匹配的真实文档，即使它们与您搜索中的确切单词不匹配。HyDE 旨在捕捉查询背后的意图，确保检索到的文档在上下文上相关。
构建企业级 RAG 系统的高级指南 [译]
KQe397773106的博客
03-08 1016
欢迎再次加入我们的“RAG 系统高级掌握”系列！我们将深入了解构建企业级 RAG (Retrieval-Augmented Generation) 系统的复杂世界。网络上虽然不乏关于简易 RAG 系统的文章，但要构建一个坚固的企业级解决方案，过程却充满未知。许多开发者甚至不知道构建 RAG 系统时最关键的决策是什么…这篇博客不只是理论探讨，更是一个实践指南，旨在助您一臂之力！我们将从保障安全的关键措施到查询重写如何影响用户体验，提供实用的洞见和实际案例。
【AI大模型】你的RAG总跑题？一文看懂HyDE如何用“假答案”挖出真干货
最新发布
2401_85325557的博客
04-08 751
在AI技术飞速发展的今天，RAG（检索增强生成）已经成为许多应用场景中的明星技术。然而，传统RAG系统却有一个让人头疼的问题：问题和答案在语义上往往并不相似。这会导致检索出来的内容驴唇不对马嘴，甚至完全跑题。而HyDE（Hypothetical Document Embeddings，假设文档嵌入）技术的出现，就像给这个难题开了一剂良方。今天这篇文章，我们就来揭开HyDE的神秘面纱：它是如何让RAG“开窍”的？为什么能提升10%以上的检索命中率？我们不仅会深入原理，还会用一张图和一段代码告诉你：HyDE，到
探索HyDE：提升信息检索的新方法
dfvcbipanjr的博客
10-22 519
HyDE是一个检索方法，通过为传入的查询生成一个假想文档进行嵌入，再使用该嵌入查找与之相似的真实文档。这种方法的核心理念是，假想文档在嵌入空间中可能比原始查询更接近目标文档，从而提升检索效果。HyDE作为一种创新的检索方法，能够显著提升文档检索的准确性和效率。HyDE论文。
使用 LangChain 掌握检索增强生成 (RAG) 的终极指南：3、HyDE（假设文档嵌入）在RAG中的应用
Hugo的博客
07-17 819
HyDE不是基于原始问题生成查询，而是专注于为给定的查询生成假设性文档。生成这种假设性文档的直觉是它们的嵌入向量可以用来在语料库嵌入空间中识别一个邻域，在这个邻域中，基于向量相似性检索类似的真实文档。在这种情况下，RAG将能够基于假设性文档检索更相关的文档，以准确回答用户查询。尽管这种技术可能有助于回答问题，但由于基于错误/虚构的假设性段落检索文档，答案有可能是错误的。首先，与之前的笔记本类似，我们首先创建我们的向量存储，并使用。使用生成的段落，我们使用我们的检索器检索相似的文档。回答我们原始的问题。
[深入探讨HyDE与LangChain：提升AI应用性能的新方法]
akhfuiigabv的博客
10-10 394
HyDE是一种检索方法，通过生成一个假想文档来提高检索效率。当收到查询时，HyDE首先生成一个与查询相关的假想文档，并通过嵌入该文档来搜索与其相似的真实文档。这样可以在嵌入空间中更接近实际需求，提高检索精度。LangChain是一个强大的工具包，帮助开发者构建和管理复杂的AI应用程序。它支持多种插件扩展，包括HyDE的集成，通过LangChain CLI可以方便地创建和管理项目。HyDE和LangChain为AI开发者提供了强大的工具，提高了文本检索的效率和应用程序的可管理性。
Hyde：探索Node.js在博客引擎中的替代方案
3. **JavaScript的集成**：HYDE支持JavaScript，这可能意味着它在编译过程中能够执行一些JavaScript代码，增强网站的功能和交互性，或者用户可以使用JavaScript进行某些自定义设置。 4. **配置和扩展性**：通过使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大模型之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值