忘记RAG，未来是RAG-Fusion

原文地址：https://towardsdatascience.com/forget-rag-the-future-is-rag-fusion-1147298d8ad1

搜索的下一个前沿：检索增强生成与相互排名融合和生成的查询相遇

2023 年 10 月 6 日

在探索搜索技术近十年后，我可以诚实地说，没有什么比最近兴起的检索增强一代 (RAG) 更具颠覆性了。该系统使用矢量搜索和生成式人工智能，基于可信数据生成直接答案，正在彻底改变搜索和信息检索。

在我的搜索项目中，对 RAG 的试验让我考虑了它的潜在增强功能；我认为RAG仍然太有限，无法满足用户的需求，需要升级。

我的个人搜索系统（Project Ramble），我在 2022 年将Obsidian笔记与 GPT-3 相结合的矢量搜索连接起来。

不要误会我的意思，RAG 非常出色，并且绝对是信息检索技术朝着正确方向迈出的一步。自 2021 年 GPT-2 出现以来，我一直在使用 RAG，当我从自己的笔记或工作文档中查找有价值的信息时，它极大地帮助提高了我的工作效率。

RAG现在非常火，当然性能也非常出色，它绝对走在了信息检索技术的康庄大道上，RAG有许多优点:

• 向量搜索融合： RAG通过将向量搜索功能与生成模型集成，引入了一种新的范例。这种融合能够从大型语言模型(大语言模型)生成更丰富、更具上下文感知的输出。
• 减少幻觉： RAG显著降低了LLM的幻觉倾向，使生成的文本更基于数据。
• 个人和专业实用程序：从个人应用程序如筛选笔记到更专业的集成，RAG展示了在提高生产力和内容质量方面的多功能性，同时基于可信赖的数据源。

然而，我发现越来越多的“限制”:

• 当前搜索技术的限制：RAG受到限制我们基于检索的词法和向量搜索技术的相同限制。
• 人工搜索效率低下：人类并不擅长在搜索系统中输入他们想要的东西，比如打字错误、模糊的查询或有限的词汇，这通常会导致错过明显的顶级搜索结果之外的大量信息。虽然RAG有所帮助，但它并没有完全解决这个问题。
• 搜索的过度简化：我们流行的搜索模式将查询线性地映射