RAG高级优化：检索策略探讨Fusion, HyDE安排上(含代码)

传统的检索方法通常依赖于对query进行语义理解(基于向量)或关键字匹配(BM25)，这两种方法都有其优点和缺点。融合检索、HyDE和RAG-Fusion可以创建一个更健壮和准确的检索系统。本文将介绍三种优化方法：

• Fusion retrieval： 基于向量和基于bm25的检索

• HyDE(假设文档嵌入) **：**通过根据查询生成和嵌入假设文档来增强检索。

• RAG-Fusion **：**通过结合多次搜索迭代的结果来提高检索质量。

高级 RAG 技术介绍

Fusion Retrieval

融合检索是一种强大的文档搜索方法，它结合了语义理解和关键字匹配的优势。通过利用基于向量和BM25的检索方法，它为信息检索任务提供了更全面、更灵活的解决方案。这种方法在概念相似性和关键字相关性都很重要的各个领域都有潜在的应用，例如学术研究、法律文档搜索或通用搜索引擎。

实现方法:

1. 接受一个查询，并执行基于向量和基于bm25的检索。

2. 两种方法的得分归一化到一个共同的尺度。

3. 计算这些分数的加权组合(由alpha参数控制)。

4. 根据综合得分对文档进行排名，并返回前k个结果。

优点：

提高检索质量: 通过结合语义搜索和基于关键字的搜索，系统可以捕获概念相似度和精确的关键字匹配。
灵活性: alpha参数允许根据特定用例或查询类型调整矢量和关键字搜索之间的平衡。
健壮性: 组合方法可以有效地处理更大范围的查询，减轻单个方法的弱点。
可定制性: 该系统可以很容易地适应使用不同的矢量存储或基于关键字的检索方法。

实现图

下面的图表说明了流程（最后一部分给出了实现代码）：

HyDE

HyDE 是什么？

HyDE 是一种创新方法，可增强密集检索，尤其是在零样本场景中。其工作原理如下：

1. 查询扩展： HyDE 使用语言模型根据用户的查询生成假设答案或文档。

2. 增强嵌入：这些假设文档被嵌入，从而创建了更丰富的语义搜索空间。

3. 相似性搜索： 嵌入用于查找数据库中最相关的实际文档。

4. 知情生成： 检索到的文档和原始查询用于生成最终响应。

实现图

下面的图表说明了 HyDE 流程：

RAG-Fusion

什么是 RAG-Fusion？

RAG-Fusion 是一种先进的技术，它将检索增强生成 (RAG) 与互易秩融合 (RRF) 相结合，以提高检索信息的质量和相关性。其工作原理如下：

1. 查询扩展： 利用原始查询生成多个相关查询，为用户的问题提供不同的视角。

2. 多次检索： 每个生成的查询都用于从数据库中检索相关文档。

3. 倒数秩融合： 使用 RRF 算法对检索到的文档进行重新排序，该算法结合了多次检索尝试的排名。

4. 增强 RAG： 重新排序的文档以及原始和生成的查询用于生成最终响应。

与传统 RAG 相比，这种方法有助于捕捉更广泛的背景和潜在的更多相关信息。

实现图

下面是说明 RAG-Fusion 工作流程的图表：

对RAG技术感兴趣，可以通过这本书全面学习。据了解这是目前第一本关于rag的书籍，很不错：

Fusion retrieval实战

加载依赖

bm25召回

混合召回

如果对内容有什么疑问和建议可以私信和留言，也可以添加我加入大模型交流群，一起讨论大模型在创作、RAG和agent中的应用。

好了，这就是我今天想分享的内容。如果你对大模型应用感兴趣，别忘了点赞、关注噢~

如何学习AI大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

学习路线

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓