2个简单技巧把 RAG 检索准确率从 50% 提高到 95 %

最新推荐文章于 2025-04-08 19:30:46 发布

程序猿李巡天

最新推荐文章于 2025-04-08 19:30:46 发布

阅读量561

点赞数 5

文章标签：人工智能产品经理 python 开发语言面试

本文链接：https://blog.csdn.net/m0_59235945/article/details/144727481

版权

在讨论了 RAG 的 chunking、embedding、评估指标、评估流程等技术后，我们进一步探讨 RAG 系统的实际应用。在实际项目中，RAG（Retrieval-Augmented Generation）系统的检索阶段往往是影响生成效果的核心环节。RAG 系统的工作流程包括数据摄取（Data Ingestion）和数据查询（Data Querying），其中检索是至关重要的一步。本文介绍了在一个案例中，团队如何通过2个关键技巧把 RAG 检索准确率从 50% 提高到 95 %

1. 什么是 RAG 检索准确率？为什么它很重要？

RAG 检索准确率（Recall）是衡量检索系统能否找到与用户查询相关的所有文档的指标。它在 RAG 系统中尤为重要，因为如果检索阶段无法提供足够的上下文，即使生成模型再强大，也难以输出高质量结果。高检索准确率是确保生成内容相关性的基础。

检索准确率（Recall）公式如下：

示例：

用户查询 “Swedish massage in Helsinki”。
数据库中有 10 条相关文档，检索系统返回 9 条相关文档和 1 条不相关文档。
检索准确率计算：

2. 案例背景

在这个案例中，我们通过两个关键改进，使系统的检索准确率从 50-60% 提升至 95% 以上。此项目的背景是为客户服务团队构建一个内部聊天机器人，以帮助客服人员更快地访问信息。

项目初始阶段包括：

从各种系统中获取数据。
预处理、chunking 和 embedding 数据。
在 Azure AI Search 中构建搜索索引。
将聊天机器人连接到搜索索引。

数据包括有关地点（如水疗中心和健身房）和专家（如按摩治疗师和私人教练）的信息。数据通过将文本字段（描述、城市、地区）合并为一个内容字段，并为向量搜索创建 embeddings 来准备。

最初的搜索查询要么作为向量搜索，要么作为全文 BM25 搜索对内容字段运行。然而，系统仅在 50-60% 的时间内检索到正确的文档。

向量搜索不适合这个应用，因为它优先考虑模糊匹配和语义相似性，而我们的应用需要精确匹配。BM25 搜索也不够，因为它基于术语频率，导致包含更多匹配查询术语的文档优先显示，而不是匹配相关术语的文档。BM25 还存在芬兰语词形变化的问题，稍微的词形变化会阻止文档检索。

3. 初始方案的问题

系统采用了向量搜索 和BM25 全文搜索 的组合，然而：

向量搜索：基于语义相似性，但无法精确匹配具体的服务或位置。
BM25 搜索：依赖关键字频率，但会优先返回包含高频关键词但相关性低的文档。对于芬兰语等具有词形变化的语言，BM25 的效果进一步降低。

这些问题导致检索结果相关性不足，严重影响了用户体验。

4. 检索准确率从 50-60% 提升至 95% 的两个技巧

通过以下两项关键改进，系统的检索准确率得以显著提升：

1.利用 LLM 改写用户查询

解决方案：在查询阶段，借助 LLM 将用户输入改写为结构化查询。例如，将 “Swedish massage in Helsinki” 改写为服务字段包含 “Swedish massage” 且城市字段为 “Helsinki” 的查询。
实际效果：精准的查询改写显著提高了检索相关性，减少了 BM25 依赖于关键词频率的问题。
成本与问题：
性能开销：查询改写需要实时处理，在高并发场景中可能增加响应时间。
维护复杂度：需持续优化查询改写逻辑，以适应不断变化的用户需求。

2.利用 LLM 改进索引

解决方案：在索引阶段，使用大语言模型（LLM）从自由文本中提取服务信息，生成结构化服务列表作为索引字段。例如，从描述 “This spa offers Swedish massage and aromatherapy” 中提取 “Swedish massage” 和 “aromatherapy”。
处理非标准化输入：预处理步骤清洗拼写错误、语言变体等噪声，提升模型一致性。
实际效果：索引信息更加精确，解决了向量搜索中模糊匹配导致的相关性不足问题。
成本与问题：
计算成本：索引构建需要显著的计算资源，特别是在大规模数据场景中。
维护复杂度：动态服务信息需要持续更新，确保索引的准确性和实用性。

2个技巧把 RAG 检索准确率从 50% 提高到 95 %

6. 总结

本案例的关键收获如下：

核心在于检索阶段的优化：生成效果的提升离不开高质量的检索结果。
简单且有效的改进：通过 LLM 改进索引和查询改写，显著提升了系统性能。
成本与收益的权衡：虽然增加了部分计算和维护成本，但带来的用户体验提升是值得的。

高效的检索不仅为生成阶段提供了坚实基础，也证明了技术优化应聚焦于用户需求，避免盲目追求复杂性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述