【大模型学习】第十三章 混合检索（Hybrid Retrieval）综述

最新推荐文章于 2025-03-27 11:10:12 发布
最新推荐文章于 2025-03-27 11:10:12 发布
阅读量564 收藏 9
点赞数 6
分类专栏： AI大模型 文章标签： 人工智能 大模型 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43584113/article/details/146174519
版权

目录

引言

一、概念与背景

混合检索定义

应用场景

二、工作原理

核心思想

组合策略

三、架构设计要点

四、实现示例

五、结论

引言

        随着自然语言处理（NLP）领域的快速发展，单一的检索方法已经难以满足日益复杂的查询需求。混合检索（Hybrid Retrieval）作为一种解决方案，结合了传统基于关键词的检索方法和现代基于深度学习的语义理解模型的优势，旨在提高信息检索的准确性和效率。

本技术文档将详细介绍混合检索的概念、工作原理、架构设计要点以及实现示例。

一、概念与背景

混合检索定义

混合检索指的是在执行信息检索任务时，综合利用多种检索策略和技术，包括但不限于传统的TF-IDF、BM25等基于关键词的方法，以及BERT、Sentence-BERT等基于深度学习的语义相似度模型࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型】「RAG，Retrieval-Augmented Generation」检索增强生成-全流程
强化学习曾小健
04-19 3084
检索增强生成（Retrieval Augmented Generation），简称 RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。
大模型 | RAG 中的混合搜索：使用组合技术增强信息检索
star_nwe的博客
08-20 2219
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【开篇惊艳】人工智能领域的新星——混合检索与重排序
步子哥的博客
03-01 1314
其中，RAG技术作为大模型应用的一颗冉冉升起的新星，正在打破传统的向量检索局限，以混合检索和重排序的方式提升搜索的精确度和实用性。混合检索结合了传统的关键词搜索和现代的向量搜索，而重排序则在初步检索的基础上，进一步优化搜索结果，确保最相关的文档能够被优先呈现。在这一过程中，我们不仅要关注技术的实现，更要确保系统的稳定性和扩展性，以适应不断增加的用户需求和数据量。在混合检索找到一批可能的候选文档后，重排序通过更加精细化的评估机制，对这些文档进行打分和排序，确保最相关的信息能够位列榜首。
大模型高级 RAG 检索策略之混合检索_rag混合检索
qingkahui24689的博客
11-05 2053
混合检索也叫融合检索，也叫多路召回，是指在检索过程中，同时使用多种检索方式，然后将多种检索结果进行融合，得到最终的检索结果。混合检索的优势在于可以充分利用多种检索方式的优势，弥补各种检索方式的不足，从而提高检索的准确性和效率，下面是混合检索的流程图：首先是问题查询，这一过程的设计可以简单也可以复杂，简单的做法是直接将原始查询传递给检索器，而复杂一点的做法是通过 LLM（大语言模型）为原始查询生成子查询或相似查询，然后再将生成后的查询传递给检索器。
Elasticsearch 混合搜索 - Hybrid Search
Elastic 中国社区官方博客
02-18 2191
在本系列关于向量搜索的最后一篇文章中，我们介绍了 Elasticsearch 支持的不同类型的混合搜索查询。一种选择是使用词汇搜索（例如，查询）和向量搜索（例如，knn）的组合；另一种方法是利用新引入的带有 sparse_vector 查询的 retriever 搜索选项。我们首先快速回顾了一下融合词汇和语义搜索结果以提高准确性的诸多优势。在此过程中，我们回顾了两种融合词汇和语义搜索结果的不同方法，即凸组合（CC）和倒数排序融合（RRF），并研究了它们各自的优缺点。
RAG专栏：混合检索
最新发布
m0_37145844的博客
03-27 312
混合检索，又称融合检索 / 多路召回，是指在检索过程中同时采用多种检索方式，并将各类检索结果进行融合，从而得到最终的检索结果。混合检索的优势在于能够充分利用不同检索方式的优点，弥补各自的不足，从而提升检索的准确性和效率。
大模型高级 RAG 检索策略之混合检索
机器学习社区
06-06 6019
混合检索也叫融合检索，也叫多路召回，是指在检索过程中，同时使用多种检索方式，然后将多种检索结果进行融合，得到最终的检索结果。混合检索的优势在于可以充分利用多种检索方式的优势，弥补各种检索方式的不足，从而提高检索的准确性和效率，下面是混合检索的流程图：首先是问题查询，这一过程的设计可以简单也可以复杂，简单的做法是直接将原始查询传递给检索器，而复杂一点的做法是通过 LLM（大语言模型）为原始查询生成子查询或相似查询，然后再将生成后的查询传递给检索器。
一文读懂「RAG，Retrieval-Augmented Generation」检索增强生成
热门推荐
女王の专属领地
01-20 1万+
检索增强生成（RetrievalAugmentedGeneration），简称RAG，已经成为当前最火热的LLM应用方案。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题。
【搜索排序】召回综述Semantic Models for the First-Stage Retrieval: A Comprehensive Review
weixin_40485502的博客
04-29 2350
信息检索，召回
【AI论文精读3】RAG论文综述1-P3-检索器
AI完全体
10-09 1264
这篇综述论文对RAG在大型语言模型中的应用进行了全面总结，覆盖了如何通过检索增强大规模语言模型的能力，并讨论了不同类型的检索机制及其优化策略。适合对RAG的最新发展进行深入了解。这是我对论文第3部分的解读。
开启RAG进阶：混合检索（关键字&向量）+重排序（原理讲解与示例体验）
weixin_42924914的博客
09-23 1124
接下来我们就先来了解下到底什么是混合检索，可能从我们以上综合提到了两个检索方式，也已经能推断出来了。没错，在RAG系统中，混合搜索最常见指向量检索和关键词检索的组合。混合检索是结合了两种或者多种搜索算法提高搜索结果相关性的搜索技术。RAG部分，我们陆陆续续分享了好几篇文章，从了解RAG到RAG与Fine tune的对比，再到RAG的实操：文档切片的方法、关键字检索、向量检索。
Elasticsearch：混合搜索是 GenAI 应用的未来
Elastic 中国社区官方博客
02-11 2441
全文搜索是一种在大量文本数据中查找特定信息的强大技术。与仅查找精确匹配的简单关键字搜索不同，全文搜索会分析文档的整个文本并了解查询的上下文。这使得它能够找到相关结果，即使查询不使用你搜索的确切关键字。这是它的工作原理索引。当你将文本数据添加到支持全文搜索的系统时，系统首先创建索引。该索引就像文本的详细地图，列出了它包含的所有单词和短语以及它们出现的位置。查询。执行全文搜索时，你输入包含关键字或短语的查询。然后，系统在索引中搜索包含全部或部分查询词的文档。排名。
改进 Elastic Stack 中的信息检索：混合检索 - hybrid retrieval
Elastic 中国社区官方博客
07-14 2217
在中，我们介绍了 Elastic Learned Sparse Encoder，这是一种经过训练可有效进行零样本文本检索的模型。Elasticsearch® 还具有强大的词汇检索功能和丰富的工具来组合不同查询的结果。在本博客中，我们介绍了混合检索的概念，并探讨了 Elasticsearch 中可用的两种具体实现。
稀疏检索、密集检索与混合检索：概念、技术与应用
Harry的博客
01-19 1220
随着自然语言处理（NLP）技术的飞速发展，传统的稀疏检索方法逐渐面临着密集检索技术的挑战。本文将介绍稀疏检索、密集检索与混合检索的基本概念，比较它们的优缺点，并介绍实现这些检索方法时所需的技术。随着信息检索需求的不断发展，稀疏检索、密集检索和混合检索都在各自的应用领域中发挥着重要作用。混合检索是结合稀疏检索和密集检索的优点的一种检索方法。通常，混合检索会首先使用稀疏检索（如BM25）从大量文档中快速筛选出一部分候选文档，然后再使用密集检索（如BERT）对这些候选文档进行精确排序，确保获取到最相关的文档。
大模型RAG实战｜混合检索：BM25检索+向量检索的LlamaIndex实现
mama19971023的博客
08-06 4716
目前，大模型RAG系统中普遍采用混合检索来提升检索准确性。针对要回答的问题，同时通过。
利用 LangChain 实现高级混合检索：深入探讨 Hybrid Search
qq_29929123的博客
08-12 1481
混合搜索是一种结合多种搜索技术的高级检索方法。向量相似度搜索：基于嵌入（embeddings）的语义相似度匹配。传统搜索技术：如全文搜索、关键词匹配、BM25 算法等。通过结合这些技术，混合搜索可以在保持语义相关性的同时，提高检索的精确度和召回率。混合搜索技术为 LangChain 用户提供了更强大和灵活的检索能力。通过结合向量相似度搜索和传统搜索技术，我们可以实现更精确和相关的检索结果。在实际应用中，根据具体需求和数据特性选择合适的混合搜索策略，将大大提升信息检索的质量和效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

好多渔鱼好多

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值