【大模型学习】第十三章 混合检索（Hybrid Retrieval）综述

最新推荐文章于 2025-04-24 13:53:16 发布
最新推荐文章于 2025-04-24 13:53:16 发布
阅读量613 收藏 9
点赞数 6
分类专栏： AI大模型 文章标签： 人工智能 大模型 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43584113/article/details/146174519
版权

目录

引言

一、概念与背景

混合检索定义

应用场景

二、工作原理

核心思想

组合策略

三、架构设计要点

四、实现示例

五、结论

引言

        随着自然语言处理（NLP）领域的快速发展，单一的检索方法已经难以满足日益复杂的查询需求。混合检索（Hybrid Retrieval）作为一种解决方案，结合了传统基于关键词的检索方法和现代基于深度学习的语义理解模型的优势，旨在提高信息检索的准确性和效率。

本技术文档将详细介绍混合检索的概念、工作原理、架构设计要点以及实现示例。

一、概念与背景

混合检索定义

混合检索指的是在执行信息检索任务时，综合利用多种检索策略和技术，包括但不限于传统的TF-IDF、BM25等基于关键词的方法，以及BERT、Sentence-BERT等基于深度学习的语义相似度模型࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型】「RAG，Retrieval-Augmented Generation」检索增强生成-全流程
强化学习曾小健
04-19 3149
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。
开启RAG进阶：混合检索（关键字&向量）+重排序（原理讲解与示例体验）
weixin_42924914的博客
09-23 1175
接下来我们就先来了解下到底什么是混合检索，可能从我们以上综合提到了两个检索方式，也已经能推断出来了。没错，在RAG系统中，混合搜索最常见指向量检索和关键词检索的组合。混合检索是结合了两种或者多种搜索算法提高搜索结果相关性的搜索技术。RAG部分，我们陆陆续续分享了好几篇文章，从了解RAG到RAG与Fine tune的对比，再到RAG的实操：文档切片的方法、关键字检索、向量检索。
了解 RAG 第三部分：混合检索和重新排序
盖瑞理的智汇说
03-20 404
融合检索方法涉及在 RAG 系统的检索阶段融合或聚合多个信息流。回想一下，在检索阶段，检索器（信息检索引擎）获取 LLM 的原始用户查询，将其编码为矢量数值表示，并使用它在庞大的知识库中搜索与查询高度匹配的文档。之后，通过添加从检索到的文档中产生的额外上下文信息来增强原始查询，最后将增强的输入发送给 LLM。通过在检索阶段应用融合方案，在原始查询之上添加的上下文可以变得更加连贯和上下文相关，从而进一步改善 LLM 生成的最终响应。
【开篇惊艳】人工智能领域的新星——混合检索与重排序
步子哥的博客
03-01 1333
其中，RAG技术作为大模型应用的一颗冉冉升起的新星，正在打破传统的向量检索局限，以混合检索和重排序的方式提升搜索的精确度和实用性。混合检索结合了传统的关键词搜索和现代的向量搜索，而重排序则在初步检索的基础上，进一步优化搜索结果，确保最相关的文档能够被优先呈现。在这一过程中，我们不仅要关注技术的实现，更要确保系统的稳定性和扩展性，以适应不断增加的用户需求和数据量。在混合检索找到一批可能的候选文档后，重排序通过更加精细化的评估机制，对这些文档进行打分和排序，确保最相关的信息能够位列榜首。
什么混合检索？在基于大模型的应用开发中，混合检索主要解决什么问题？
最新发布
篱笆院的狗的博客
04-24 720
混合检索（Hybrid Retrieval）是一种结合多种检索技术优势的信息检索方法，旨在通过整合不同检索策略提升检索系统的准确性、召回率和适应性。其核心思想是将基于关键词的检索（如BM25、TF-IDF）与基于语义的检索（如向量检索、深度学习模型）相结合，以应对单一检索方法的局限性。关键词检索：基于用户查询中的关键词，快速定位包含这些关键词的文档。语义检索：将用户查询和文档表示为向量，通过计算向量相似度（如余弦相似度）来衡量语义相关性。知识图谱检索。
大模型 | RAG 中的混合搜索：使用组合技术增强信息检索
star_nwe的博客
08-20 2418
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
大模型高级 RAG 检索策略之混合检索_rag混合检索
qingkahui24689的博客
11-05 2148
混合检索也叫融合检索，也叫多路召回，是指在检索过程中，同时使用多种检索方式，然后将多种检索结果进行融合，得到最终的检索结果。混合检索的优势在于可以充分利用多种检索方式的优势，弥补各种检索方式的不足，从而提高检索的准确性和效率，下面是混合检索的流程图：首先是问题查询，这一过程的设计可以简单也可以复杂，简单的做法是直接将原始查询传递给检索器，而复杂一点的做法是通过 LLM（大语言模型）为原始查询生成子查询或相似查询，然后再将生成后的查询传递给检索器。
Elasticsearch 混合搜索 - Hybrid Search
Elastic 中国社区官方博客
02-18 2510
在本系列关于向量搜索的最后一篇文章中，我们介绍了 Elasticsearch 支持的不同类型的混合搜索查询。一种选择是使用词汇搜索（例如，查询）和向量搜索（例如，knn）的组合；另一种方法是利用新引入的带有 sparse_vector 查询的 retriever 搜索选项。我们首先快速回顾了一下融合词汇和语义搜索结果以提高准确性的诸多优势。在此过程中，我们回顾了两种融合词汇和语义搜索结果的不同方法，即凸组合（CC）和倒数排序融合（RRF），并研究了它们各自的优缺点。
ES混合检索
技术引领业务创新
03-05 1007
2024年06月上线 ES 8.13.3版本，该版本在向量检索、NLP能力等方面表现更优。为AI革命提供高级搜索能力！腾讯云大数据ES国内首发上线8.8.1版本利用Elasticsearch作为向量数据库，有效地创建、存储和搜索密集向量。提供图索引，通过HNSW以实现高效的最近邻搜索；支持端到端的向量生成、向量索引、向量相似性比较，无需额外的平台进行向量推理；一体化的搜索体验：多路召回混合打分、Faceting聚合分析能力、基于角色的访问控制；
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
热门推荐
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
【搜索排序】召回综述Semantic Models for the First-Stage Retrieval: A Comprehensive Review
weixin_40485502的博客
04-29 2424
信息检索，召回
【AI论文精读3】RAG论文综述1-P3-检索器
AI完全体
10-09 1287
这篇综述论文对RAG在大型语言模型中的应用进行了全面总结，覆盖了如何通过检索增强大规模语言模型的能力，并讨论了不同类型的检索机制及其优化策略。适合对RAG的最新发展进行深入了解。这是我对论文第3部分的解读。
RAG专栏：混合检索
m0_37145844的博客
03-27 392
混合检索，又称融合检索 / 多路召回，是指在检索过程中同时采用多种检索方式，并将各类检索结果进行融合，从而得到最终的检索结果。混合检索的优势在于能够充分利用不同检索方式的优点，弥补各自的不足，从而提升检索的准确性和效率。
大模型高级 RAG 检索策略之混合检索
机器学习社区
06-06 6442
混合检索也叫融合检索，也叫多路召回，是指在检索过程中，同时使用多种检索方式，然后将多种检索结果进行融合，得到最终的检索结果。混合检索的优势在于可以充分利用多种检索方式的优势，弥补各种检索方式的不足，从而提高检索的准确性和效率，下面是混合检索的流程图：首先是问题查询，这一过程的设计可以简单也可以复杂，简单的做法是直接将原始查询传递给检索器，而复杂一点的做法是通过 LLM（大语言模型）为原始查询生成子查询或相似查询，然后再将生成后的查询传递给检索器。
Elasticsearch：混合搜索是 GenAI 应用的未来
Elastic 中国社区官方博客
02-11 2461
全文搜索是一种在大量文本数据中查找特定信息的强大技术。与仅查找精确匹配的简单关键字搜索不同，全文搜索会分析文档的整个文本并了解查询的上下文。这使得它能够找到相关结果，即使查询不使用你搜索的确切关键字。这是它的工作原理索引。当你将文本数据添加到支持全文搜索的系统时，系统首先创建索引。该索引就像文本的详细地图，列出了它包含的所有单词和短语以及它们出现的位置。查询。执行全文搜索时，你输入包含关键字或短语的查询。然后，系统在索引中搜索包含全部或部分查询词的文档。排名。
改进 Elastic Stack 中的信息检索：混合检索 - hybrid retrieval
Elastic 中国社区官方博客
07-14 2244
在中，我们介绍了 Elastic Learned Sparse Encoder，这是一种经过训练可有效进行零样本文本检索的模型。Elasticsearch® 还具有强大的词汇检索功能和丰富的工具来组合不同查询的结果。在本博客中，我们介绍了混合检索的概念，并探讨了 Elasticsearch 中可用的两种具体实现。
稀疏检索、密集检索与混合检索：概念、技术与应用
Harry的博客
01-19 1347
随着自然语言处理（NLP）技术的飞速发展，传统的稀疏检索方法逐渐面临着密集检索技术的挑战。本文将介绍稀疏检索、密集检索与混合检索的基本概念，比较它们的优缺点，并介绍实现这些检索方法时所需的技术。随着信息检索需求的不断发展，稀疏检索、密集检索和混合检索都在各自的应用领域中发挥着重要作用。混合检索是结合稀疏检索和密集检索的优点的一种检索方法。通常，混合检索会首先使用稀疏检索（如BM25）从大量文档中快速筛选出一部分候选文档，然后再使用密集检索（如BERT）对这些候选文档进行精确排序，确保获取到最相关的文档。
AI大模型技术应用与RAG检索增强快速学习指南
资源摘要信息:"《AI大模型应用》--从0-1系统性快速学习大模型检索增强技术RAG.zip" 该文件是一套关于人工智能大模型应用的资料包，涵盖了从基础理论到实际应用的全方位内容，特别强调了检索增强技术（Retrieval-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

好多渔鱼好多

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值