上下文检索(Contextual Retrieval):一个显著提升RAG检索准确率的创新方法

最新推荐文章于 2025-03-31 21:18:46 发布
最新推荐文章于 2025-03-31 21:18:46 发布
阅读量1.5k 收藏 16
点赞数 25
文章标签： 人工智能 大模型 ai AI大模型 LLM 上下文检索 RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59614665/article/details/143775717
版权

上下文检索(Contextual Retrieval):一个显著提升RAG检索准确率的创新方法

在构建基于大语言模型的AI应用时,如何让模型准确获取所需的背景知识是一个关键挑战。传统的检索增强生成(RAG)方法在编码信息时往往会丢失上下文,导致检索失败。今天要介绍的上下文检索(Contextual Retrieval)技术创新性地解决了这个问题,能将检索失败率降低高达67%。

一、什么是上下文检索?

其最大特点是:在chunk编码前预先添加解释性的上下文信息,大幅提升检索准确率。

上下文检索是一种改进RAG系统检索步骤的新方法,它包含两个核心技术:

1. 上下文嵌入(Contextual Embeddings)

上下文嵌入通过在文本块编码前添加解释性上下文,来提升语义检索的准确性:

# 传统方式
chunk = "收入增长率为3%"
embedding = encode(chunk)

# 上下文嵌入
context = "这是ACME公司2023年Q2财报中关于季度收入的描述"
contextual_chunk = context + chunk
enhanced_embedding = encode(contextual_chunk)

主要优势:

  • 保留了文档的语境信息
  • 提升了语义理解的准确度
  • 减少歧义和误检索

2. 上下文BM25(Contextual BM25)

BM25（最佳匹配 25）是一种排名函数，它使用词汇匹配来查找精确的单词或短语匹配。它对于包含唯一标识符或技术术语的查询特别有效。

# 传统BM25
score = bm25(query="ACME Q2收入", text="收入增长率为3%")

# 上下文BM25
context = "ACME公司2023年Q2财报 | 季度收入部分"
contextual_text = context + ": 收入增长率为3%"
enhanced_score = bm25(query="ACME Q2收入", text=contextual_text)

核心特点:

  • 结合精确词匹配和上下文信息
  • 提高关键词检索准确率
  • 特别适合处理专业术语和数字信息

这两种技术的结合使用创造了显著的协同效应:

  • 上下文嵌入提供深层语义理解
  • 上下文BM25确保关键信息精确匹配
  • 双管齐下大幅提升检索质量

二、为什么需要上下文检索?

1. 传统RAG的局限性

传统RAG系统在将文档分块时会丢失重要上下文。例如对于这样一个问题: “ACME公司2023年Q2的收入增长是多少?”

相关的文本块可能只包含:“公司收入比上季度增长了3%。”

  • 没有指明是哪家公司
  • 没有说明具体时间
  • 难以判断是否为正确信息

2. 显著的性能提升

上下文检索带来的改进:

  • 单独使用上下文嵌入:检索失败率降低35%
  • 结合上下文BM25:检索失败率降低49%
  • 配合重排序技术:检索失败率降低67%

三、如何实现上下文检索?

1. 基本流程

  1. 1. 文档预处理:
original_chunk = "公司收入比上季度增长了3%。"

contextualized_chunk = """
这段内容来自ACME公司2023年Q2的SEC文件,
上季度收入为3.14亿美元。
公司收入比上季度增长了3%。
"""
  1. 1. 使用Claude生成上下文:
prompt = """
<document>
{完整文档}
</document>

这是我们要处理的文本块:
<chunk>
{文本块内容}
</chunk>

请简要说明这个文本块在整个文档中的上下文,以提升检索效果。
只需给出简洁的上下文描述,无需其他内容。
"""

2. 实现考虑因素

标准检索增强生成 (RAG) 系统，使用嵌入和最佳匹配 25 (BM25) 来检索信息。TF-IDF（术语频率-逆文档频率）衡量单词重要性并构成 BM25 的基础

上下文检索是一种提高检索准确性的预处理技术

  1. 文本分块策略
  • 合理的块大小
  • 适当的重叠度
  • 边界划分方式
  1. 嵌入模型选择
  • Gemini和Voyage效果最佳
  • 不同模型受益程度不同
  1. 提示词优化
  • 可针对具体领域定制
  • 考虑添加关键术语解释
  1. 检索数量权衡
  • 实验表明检索20个块效果最好
  • 需要平衡信息量和模型负担

四、进一步优化:重排序

结合上下文检索和重新排名以最大限度地提高检索准确性

1. 重排序流程

1. 初始检索150个候选块
2. 重排序模型评分
3. 选取最相关的20个
4. 传入LLM生成答案

2. 性能与成本平衡

  • 重排序会增加一定延迟
  • 需要在性能和成本间取舍
  • 建议针对具体场景测试调优

五、最佳实践总结

  1. 技术组合建议:
  • 使用Voyage或Gemini的嵌入
  • 开启上下文嵌入和BM25
  • 添加重排序步骤
  • 检索前20个相关块

2. 性能提升效果:

  • 各项技术优化叠加
  • 检索失败率最高降低67%
  • 显著提升下游任务表现

上下文检索技术为RAG系统带来了革命性的提升,是构建高性能AI应用的重要工具。希望本文能帮助开发者更好地理解和应用这一技术创新!

六、最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

如何提升RAG系统整体效果：从索引构建-问句理解-混合搜索+语义排序着手，评估系统
丨汀、的博客
01-07 489
一个主要的问题是， query 的 embedding 与文档的 embedding 在向量空间并没有对齐。改善这种情况的常见方法是从文档中提取信息并用它来回答问题。可以对文档提取、总结和生成潜在问题以改进的 embedding 匹配的问题。从单一的文档 chunk 生成了 keywords，topics，HyDE 和 summary，这些信息可以极大的提高检索的效果。
【RAG实战优化】增加BGE-Reranker 如何提升检索精度
kakaZhui的博客
03-03 568
BGE-Reranker (BAAI General Embedding - Reranker) 提升RAG系统精度
Anthropic分享RAG最佳实践：Contextual Retrieval！
lyy2017175913的博客
09-21 1383
对于不适合在上下文窗口内的知识库，RAG是典型的解决方案。RAG通过以下步骤预处理知识库：将知识库（文档的“语料库”）分解成较小的文本块，通常不超过几百个token；使用嵌入模型将这些块转换为编码意义的向量嵌入；将这些嵌入存储在允许按语义相似性搜索的向量数据库中。
大模型 | Anthropic提出Contextual Retrieval让RAG再进化，大幅降低检索失败率
m0_56255097的博客
09-23 1069
研究团队通过大量的实验，为大家指出了一个新的提升 RAG 性能的方法，为开发者指出了实践新方向。嵌入+BM25 比单独使用嵌入效果更好（向量检索与文本检索相结合）；Voyage 和 Gemini 是测试中效果最好的嵌入模型；将前 20 个分块传递给模型比仅传递前 10 个或前 5 个分块更有效；为分块添加上下文显著提高了检索准确性；重排序比不重排序效果更好；
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1260
参考 [小学生也能听得懂的大模型 Transformer 1]
Anthropic介绍Contextual Retrieval
weixin_41446370的博客
09-22 1420
上下文检索通过在嵌入之前将块特定的说明上下文添加到每个块(“上下文嵌入”)并创建BM25索引(“上下文BM25 ”)来解决此问题。让我们返回我们的SEC文件收集示例。值得注意的是,过去已经提出了使用上下文来改善检索的其他方法。其他建议包括: 将通用文档摘要添加到大块（我们进行了实验,发现收益非常有限）, 假设文件嵌入,和 基于摘要的索引（我们进行了评估,发现性能低下）。这些方法与本文中提出的方法不同。
『深度长文』Anthropic推出全新“上下文检索”：大幅增加RAG检索准确性！
hunteritself的博客
09-23 1111
『深度长文』Anthropic推出全新“上下文检索”：大幅增加RAG检索准确性！
【AI论文精读3】RAG论文综述1-P3-检索器
AI完全体
10-09 1264
这篇综述论文对RAG在大型语言模型中的应用进行了全面总结，覆盖了如何通过检索增强大规模语言模型的能力，并讨论了不同类型的检索机制及其优化策略。适合对RAG的最新发展进行深入了解。这是我对论文第3部分的解读。
多样化检索策略：在 LangChain 中实现高效文档检索
AI Agent 首席体验官
03-18 840
创建向量存储：首先使用FaissPinecone等工具创建向量存储，将文本数据转换为向量，并保存到向量数据库中。创建：从已存储的向量数据库加载索引，并创建。检索相关文档：通过调用retrieve方法，传入查询文本，返回与查询相关的文档。集成到问答链中：通过等类将文档检索与语言模型结合，实现自动问答功能。是 LangChain 中用于从向量存储中检索文档的检索器，可以与不同的向量存储（如 Faiss）结合使用，提供高效的相似度检索功能。它可以广泛应用于基于内容的检索、问答系统等场景。准备数据。
RAG 优化：高效解析并接入图文、表格密集型文档
最新发布
kakaZhui的博客
03-31 261
检索增强生成 (Retrieval-Augmented Generation, RAG) 已成为构建智能问答、文档摘要、内容创作等应用的利器。然而，标准的 RAG 流程往往假设输入是纯文本。当我们面对现实世界中更常见的文档——那些充斥着大量图片、图表和表格的报告、手册、论文或网页时，传统的 RAG 方法就会显得力不从心。这些非文本元素往往蕴含着关键信息，忽略它们将导致 RAG 系统理解片面、回答不准确。你想问一个产品手册中某个零件的安装步骤，而关键信息在一张流程图里。
上下文识别
02-02
上下文识别验证码技术已经广泛应用于互联网
Anthropic重磅发布：上下文检索技术让RAG错误率暴跌67%
lyy2017175913的博客
09-20 1034
Anthropic最新发布的（Contextual Retrieval）技术，让RAG（检索增强生成）应用的错误检索率。这一突破性进展，有望彻底改变AI应用对文本理解的方式。
怎么理解Contextual-Retrieval ？（顺手讲一下prompt-cache）
周博洋的博客
10-10 1339
如上面所示，原始得chunk，是两个"The"，导致不管是embedding还是BM25都抓不出来它，那要是把original_chunk，通过某种手段，给转换成下面这种contextualized_chunk，把上下文信息给注入到chunk离，这下，如果还是刚才得问题，那必然是一问一个准。有人说用Hybrid RAG是不是能强点，比如上图，此时，你是加BM25 关键字，还是加Graph-RAG都没啥用，你懂得，因为回答是一系列得"The"指代，并没有和问题中得描述有关键字匹配，也没法建立节点和边得关系。
RAG大升级：上下文数据增强让检索准确率飙升67%！
2401_85328934的博客
10-02 992
还在为RAG（检索增强生成）系统的检索准确率发愁吗？ 别担心，"上下文检索"（contextual retrieval）这个新概念可能就是你一直在寻找的解决方案。 一年前，这种方法因为成本高昂而被认为不切实际。但现在，随着小型语言模型（SLM）的飞速发展，这个曾经的"天方夜谭"已经变成了触手可及的现实。 一起来深入了解这个可能彻底改变RAG应用格局的技术吧！
揭秘RAG神器！如何通过上下文检索与混合搜索打造超强生成效果
star_nwe的博客
10-29 937
检索增强生成 (RAG) 是自然语言处理 (NLP) 中使用的一种先进方法，用于生成准确、知情的响应。与仅依赖内部知识的传统模型不同，RAG 通过在生成过程中从外部文档或数据库检索相关信息来增强模型的能力。这意味着该模型可以“查找”相关数据并使用它来制定更精确的响应，特别是在处理需要最新或专业信息的主题时。上下文检索和混合搜索是用于增强检索增强生成 (RAG)系统的先进技术。它们属于更广泛的 RAG 范畴，但代表了改进这些系统检索相关信息的更复杂的方法。上下文检索不仅仅是简单的关键字匹配。
一文读懂：LLM RAG 中的上下文检索方法 | LeetTalk Daily
LinkTime_Cloud的博客
10-29 835
“LeetTalk Daily”，每日科技前沿，由LeetTools AI精心筛选，为您带来最新鲜、最具洞察力的科技新闻。在当今人工智能领域，检索增强生成（RAG）技术的快速发展为信息检索和生成任务提供了新的可能性。本文介绍Anthropic提出的上下文检索方法，该方法通过改进检索步骤，利用上下文嵌入和上下文BM25技术，显著提高了RAG的性能。上下文检索旨在为文档片段提供额外的上下文信息减少检索...
168 深入探讨RAG管道基准测试：使用LabelledRagDataset
xycxycooo的博客
11-18 384
是一个用于评估RAG管道的数据集，类似于传统机器学习中的数据集，其中特征（X）用于预测真实标签（y）。在RAG管道中，查询（query）和检索到的上下文（retrieved contexts）作为特征，而查询的答案（reference_answer）作为真实标签。
上下文信息简介
热门推荐
qq_35100381的博客
03-20 2万+
简介 在实际的世界中，目标不可能单独的存在，它一定会于周围其他的对象会这是环境有或多或少的关系，这就是通常所说的上下文信息。上下文信息通常被理解为：察觉并能应用能够影响场景和图像中的对象的一些信息或者是全部信息。来源于对人类视觉系统的模拟，人类的大脑具有出色的识别性能，在目标及背景复杂的情况下人类视觉系统依然可以快速识别和分类大量的目标。对于目标成像的光照、姿态、纹理、形变和遮挡等因素均具有非常
langchain-chatchat参数优化
01-14
### LangChain-Chatchat 参数优化方法及最佳实践 为了有效优化 LangChain-Chatchat 的参数并提升其性能，可以采取一系列策略和技术手段。以下是具体的优化措施： #### 1. 利用内置评估和优化工具 LangChain 提供了丰富的评估指标和优化工具来帮助开发者深入了解模型的表现，并据此调整参数设置。通过这些工具可以获得关于模型准确性和效率的关键洞察[^3]。 ```python from langchain import evaluate, optimize # 假设已经定义好了训练数据集 train_data 和验证数据集 val_data evaluator = evaluate.Evaluator() metrics = evaluator.evaluate_model(model=model, dataset=val_data) optimizer = optimize.Optimizer(metrics=metrics) optimized_params = optimizer.optimize_parameters() ``` #### 2. 调整超参数配置 对于基于大语言模型的应用程序来说，合理的超参数选择至关重要。这包括但不限于学习率、批次大小以及迭代次数等。可以通过网格搜索或随机搜索的方法找到最适合当前任务的最佳组合。 ```python import numpy as np from sklearn.model_selection import GridSearchCV param_grid = { 'learning_rate': [0.001, 0.01], 'batch_size': [8, 16, 32], } grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5) best_params = grid_search.best_params_ ``` #### 3. 应用检索增强生成 (RAG) 技术 采用 RAG 方法可以在一定程度上改善对话系统的响应质量。具体而言，在生成回复之前先从外部资源中检索相关信息作为上下文输入给模型，从而使得最终输出更加贴合实际需求[^4]。 ```python from llama_index import LlamaIndex from qwen import QwenModel rag_system = LlamaIndex().build_retrieval_augmented_generation(QwenModel()) contextual_response = rag_system.generate(context="...", query="...") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值