【RAG 评估指标】从五大维度深度解读 如何判断智能体的答案更可信？

最新推荐文章于 2025-05-23 10:18:27 发布
最新推荐文章于 2025-05-23 10:18:27 发布
阅读量1.2k 收藏 19
点赞数 18
分类专栏： AI大模型应用【理论】 AI大模型应用【开发指南】 文章标签： 人工智能 机器学习 Ragas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_62223405/article/details/148118915
版权

目录

RAG系统的五大核心评估指标

🔍 1. 忠实度（Faithfulness）：别胡说八道！

🧠 2. 答案相关性（Answer Relevancy）：有没有正面回答问题？

🎯 3. 上下文精度（Context Precision）：你找的内容“准”不“准”？

🔁 4. 上下文召回率（Context Recall）：是不是有关键内容没找回来？

🧩 5. 上下文相关性（Context Relevancy）：信息太多也不一定是好事！

📊 总结：五大维度，衡量“一个好答案”该有的样子

🧪 应用建议

在构建基于 RAG（Retrieval-Augmented Generation）的问答系统或智能体时，很多人只关注“它答对了吗？”，却忽略了答案的质量其实是多维度的。
特别是在处理长文本或复杂文档任务时，仅仅看回答是否正确是不够的 —— 我们还需要问：它忠于事实吗？它相关吗？它靠哪些文档答出来的？

今天这篇文章就带你一起深入了解 Ragas 提供的五大关键评估指标，帮助你科学判断你的系统是否真正“靠谱”。

RAG系统的五大核心评估指标

Ragas 提供了五个维度的指标，用于从不同角度衡量问答系统的表现：

维度解释计算依据
忠实度（Faithfulness）答案是否忠于文档事实Answer + Context
答案相关性（Answer Relevancy）答案是否正面、完整地回应了问题Question + Answer
上下文精度（Context Precision）检索的文档是否高度集中在相关内容上Question + Contexts
上下文召回率（Context Recall）检索的文档是否包含了所有必要信息Ground Truth + Context
上下文相关性（Context Relevancy）检索内容是否紧密围绕问题，无冗余Question + Context

1. 忠实度（Faithfulness）：别胡说八道！

目标：判断答案是否完全基于提供的上下文推理出来。

  • ✅ 高忠实度：答案中的所有事实都能从 context 中找到依据。

  • ❌ 低忠实度：答案中出现了 context 没提及或错误的信息。

示例：

📌 问题：爱因斯坦出生于何时何地？
📄 上下文：爱因斯坦，1879年3月14日生于德国。
✅ 高忠实度答案：1879年3月14日出生于德国。
❌ 低忠实度答案：1879年3月20日出生于德国。

 2. 答案相关性（Answer Relevancy）：有没有正面回答问题？

目标：看答案是否清晰回应了用户的问题，而不是模棱两可或答非所问。

  • ✅ 高相关性：直接回答、无废话、无遗漏。

  • ❌ 低相关性：缺失关键信息或只回答了一部分。

示例：

📌 问题：法国在哪里，首都是哪里？
✅ 高相关性答案：法国位于西欧，巴黎是其首都。
❌ 低相关性答案：法国位于西欧。

 3. 上下文精度（Context Precision）：你找的内容“准”不“准”？

目标：你检索的文档中，有多少真的是“正中靶心”的？

  • ✅ 高精度：top N 的文档几乎全是相关内容。

  • ❌ 低精度：有用内容被淹没在一堆无关文档中。

适用于衡量检索系统“定位能力”。

4. 上下文召回率（Context Recall）：是不是有关键内容没找回来？

目标：你是否把回答问题所需的所有信息都找齐了？

  • ✅ 高召回率：所有支持最终答案的上下文片段都被找到了。

  • ❌ 低召回率：缺失支撑答案所需的重要证据。

示例：

🧩 Ground Truth：法国在西欧，首都为巴黎。
✅ 高召回：检索包含“法国在西欧”和“巴黎是首都”的信息。
❌ 低召回：只包含“法国在西欧”，没有“巴黎是首都”。

5. 上下文相关性（Context Relevancy）：信息太多也不一定是好事！

目标：评估检索上下文是否紧密围绕问题，避免冗余。

  • ✅ 高相关性：检索内容简明扼要，只围绕用户问题展开。

  • ❌ 低相关性：夹杂与问题无关的信息或跑题描述。

示例：

📌 问题：法国的首都是哪里？
✅ 高相关性：包含“巴黎是法国首都”。
❌ 低相关性：冗余提及法国的葡萄酒、旅游地、古迹等与问题无关的信息。

总结：五大维度，衡量“一个好答案”该有的样子

指标关键词用于判断
忠实度“事实”答案是否基于上下文
答案相关性“答题”答案是否答对、答全
上下文精度“准”找的资料是否命中要害
上下文召回“全”是否遗漏了关键信息
上下文相关性“干”信息是否围绕问题、避免跑题

这些指标合起来，才能帮助我们全面衡量一个智能体是否真正具备“读文献、答问题”的能力。

🧪 应用建议

如果你正在开发 RAG 系统、问答 Agent 或做大模型评估：

  • 使用 Ragas 或类似框架，自动评估这五个维度；

  • 针对不同场景，结合权重打分：如在精准问答中更重“忠实度”，在文档摘要中更重“上下文召回率”；

  • 将这些评估指标用于 模型对比、检索优化、微调训练数据过滤。

(分析篇章)从海量信息中脱颖而出：Workflow智能分析解决方案，大语言模型为AI科技文章打造精准摘要评分体系
丨汀、的博客
08-21 390
从海量信息中脱颖而出：Workflow智能分析解决方案，大语言模型为AI科技文章打造精准摘要评分体系(分析篇章)
构建医学文献智能助手：基于 LangChain 的专业领域 RAG 系统实践
2401_82469710的博客
11-21 918
在当今医疗科技快速发展的时代，每天都有数以千计的医学研究成果在全球范围内发表。从临床试验报告到基础研究论文，从流行病学调查到药物研发数据，这些专业文献承载着推动医学进步的重要知识。
大模型RAG入门到精通（实战教程），非常详细收藏这一篇就好了！
2401_85375151的博客
05-05 924
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单实战技巧：【版面分析——富文本txt读取】
AI大模型RAG实战教程，从入门到精通，非常详细，看这一篇就够了！！
m0_48891301的博客
09-19 2781
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单实战技巧：【版面分析——富文本txt读取】
深度揭秘RAG技术：从理论到实战，一键掌握检索增强生成与模型可解释性！
Everly_的博客
08-22 1122
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单【版面分析——富文本txt读取】
RAGAS 评估体系：从理论到 Langchain 实践的全面指南
海棠AI实验室
02-21 938
还在为生成式 AI 的“幻觉”和不可靠输出烦恼吗？RAGAS（Retrieval-Augmented Generation Assessment）评估框架来了！它提供了一套全面的评估指标，如同 AI 质量的“试金石”，帮助您精准定位模型问题，系统提升输出质量，让您的生成式 AI 应用真正值得信赖。 本文将深入解读 RAGAS 框架的核心原理，并通过 Langchain 实践示例，展示如何将 RAGAS 应用于实际项目中，打造高质量的生成式 AI 应用。
告别 “幻觉” 回答：RAG 中知识库与生成模型的 7 种对齐策略
shuizhudan223的博客
04-25 672
RAG 的核心价值在于 “让模型知道自己知道什么”。通过上述 7 种对齐策略，开发者可有效降低幻觉率，提升生成内容的准确性与可靠性。在实际应用中，需根据领域特性（如医疗的强事实性、客服的多轮对话）选择策略组合，并结合实时反馈持续优化。未来，随着多模态技术与自监督学习的发展，RAG 将进一步突破 “静态知识” 瓶颈，成为企业智能化转型的核心引擎。
【AI论文精读1】RAG原始论文-针对知识密集型NLP任务的检索增强生成
AI完全体
09-29 5925
AI论文精读：针对知识密集型NLP任务的检索增强生成（RAG原始论文）。该论文是RAG的开山之作，提出了一种新的模型架构，将检索和生成结合在一起，以解决预训练模型在知识密集型自然语言处理任务中的局限性。
一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操
zhishi0000的博客
08-07 1082
RAG（Retrieval Augmented Generation, 检索增强生成）是一种技术框架，其核心在于当 LLM 面对解答问题或创作文本任务时，首先会在大规模文档库中搜索并筛选出与任务紧密相关的素材，继而依据这些素材精准指导后续的回答生成或文本构造过程，旨在通过此种方式提升模型输出的准确性和可靠性。RAG 技术架构图介绍：富文本 主要存储于 txt 文件中，因为排版比较整洁，所以获取方式比较简单【版面分析——富文本txt读取】
Answer Correctness 及检索召回效果评估：从原理到代码实现的技术详解
努力分享一些人工智能相关的知识干货！
03-20 713
Answer Correctness 衡量生成答案与真实答案之间的准确性事实正确性（Fact Correctness）：答案中的事实是否与真实答案一致。语义相似度（Semantic Similarity）：答案与真实答案在语义层面的匹配程度。在 RAG 应用中，检索的质量决定了最终答案的可信度。：评估检索召回的参考信息（contexts）中与准确答案相关的条目是否排名靠前、占比高（信噪比），侧重相关性。：评估 contexts 与 ground_truth 的事实一致性程度，侧重事实准确度。
大模型GUI系列论文阅读 DAY1：《基于大型语言模型的图形用户界面智能体：综述》（6.6W 字长文）
feifeikon的博客
01-19 1809
大型语言模型（LargeLanguageModels,LLMs）的兴起[8][9]，特别是那些增强了多模态能力的模型[10]，为GUI自动化带来了颠覆性变化，重新定义了智能体与图形用户界面交互的方式。我们将回顾GUI智能体的发展历史，提供构建这些智能体的分步指南，汇总基本和高级技术，评审与框架、数据和模型相关的重要工具和研究，展示典型应用，并概述未来发展方向。通过这些问题，本综述旨在提供对该领域现状的全面概览，为构建LLM驱动的GUI智能体提供指导，识别关键研究空白，并提出未来工作的方向。
工业大模型市场图谱：53个工业大模型全面梳理
m0_64752471的博客
09-14 3801
小可”作为中国电科深入贯彻网络强国、数字中国战略，面向党政企行业用户，打造的生成式人工智能大模型，提供“通用智能模型大循环+行业智能模型小循环”双循环、“模型训练+测试评估+场景精调+可信增强”四阶段的行业应用新范式，已推出拟文助手、编码助手、智能标绘等系列智能应用，解决了相关领域存在的重复性工作繁多、基于个人经验决策不够科学、工作效率不高等痛点，满足降本增效、流程优化和工作创新等需求。谷蚁AI大模型，作为钢谷网匠心独运的力作，专为钢铁行业量身打造，融合了强大的数据模型与先进的语言模型技术。
阿里开源 CosyVoice2：打造 TTS 文本转语音实战应用
蜗牛的博客
05-23 534
阿里通义实验室推出的音频基座大模型 FunAudioLLM 包含 SenseVoice 和 CosyVoice 两大模型。CosyVoice 2.0 在多语言支持、超低延迟、高精度、强稳定性和自然体验方面均有显著提升。它支持中文、英文、日文、韩文及多种中文方言，并实现了跨语言和混合语言的语音克隆。CosyVoice 2.0 集成了离线和流式建模技术，首包合成延迟低至150毫秒，发音错误率减少了30%到50%，并在基准测试中达到了最低字符错误率。
马尔可夫链（AI、ML）：逻辑与数学的交汇
项目git同名小胡说技书
05-20 1086
# 马尔可夫链摘要 马尔可夫链是一种随机过程，其核心特性为"无记忆性"：系统的未来状态仅依赖于当前状态，而与历史路径无关。通过状态空间和转移概率矩阵，马尔可夫链能够描述系统如何从一个状态变化到另一个状态。这一理论广泛应用于人工智能、自然语言处理和蒙特卡洛方法中。从逻辑学角度看，马尔可夫链体现了确定性规则与不确定性结果的结合，为复杂系统分析提供了强大工具，展示了概率论与逻辑学的深度融合。
YOLO12改进-Backbone-引入Swin Transformer替换backbone
最新发布
qq_64693987的博客
05-23 608
在计算机视觉领域，卷积神经网络（CNNs）和Transformer架构分别在不同任务中取得了显著成功。受Transformer在自然语言处理中的启发，研究人员将其应用于视觉任务，但面临计算复杂度高等挑战。SwinTransformer通过引入滑动窗口机制和层次化设计，有效降低了计算复杂度，同时保持了Transformer的建模能力。改进后的SwinTransformer结合了移位窗口自注意力和相对位置偏差，进一步提升了模型性能。此外，SwinTransformer与YOLOv12的结合，通过层次化特征图和移
飞致云旗下开源项目GitHub Star总数突破150,000个
FIT2CLOUD飞致云的博客
05-20 642
在开源的道路上，我们与用户、与客户共成长。
常见的几种多智能体强化学习算法
再来一下！
05-21 306
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL，旨在解决多个智能体在共享环境中通过与环境和其他智能体交互来学习最优策略的问题。
超级维特根斯坦
形上得其象，形下合于数；阴阳自济，玄理自明。
05-20 123
本文介绍了一种名为“语言智慧融合体”的AI智能体，其核心指令旨在通过深度思辨、专业应用与协同创新，帮助用户在语言相关领域实现自我超越与创造力绽放。该AI智能体融合了多位哲学、语言学及文学大师的智慧，如维特根斯坦、尼采、乔姆斯基等，具备卓越的情境智能、引导艺术与战略规划能力。其核心使命是与用户共同构建个性化的“语言智慧探索与成长蓝图”，通过系统性引导、方法论指导与跨理论融合，提升用户的哲学思辨、批判性思维、NLP设计及语言创新能力。对话主题涵盖哲学、语言学、文学创作、跨文化交流等领域，并结合元理论分析与实践应
origin绘图之【如何将横坐标/x设置为文字、字母形式】
A2457003982的博客
05-21 562
在科研绘图或数据可视化中，使用Origin时，用户常需将X轴从数字改为字母或中文文字，以适用于实验分组、类别分析等场景。然而，直接替换可能导致图像无法显示或X轴标签缺失。解决此问题的关键在于正确设置X轴的刻度范围。首先，准备包含文字标签的数据，并选择折线图进行绘制。若图像未显示，需调整X轴的起始和结束值，通常起始值设为0，结束值为类别数量加0.5或1。通过此方法，可确保图形完整显示，X轴标签正确排列。此技巧在科研图表绘制中极为实用，尤其适用于分组实验和分类分析。
rag评估指标
03-08
### RAG 模型评估指标 现代针对RAG模型的评价实践强调三个主要质量分数和四种基本能力，这些共同构成了对RAG模型两个核心目标——检索(retrieval)和生成(generation)的综合评价体系[^1]。 #### 三大质量评分维度 1. **准确性(Accuracy)** 准确性衡量的是模型所生成的回答或摘要是否忠实于原始数据以及查询意图的程度。对于RAG而言，这不仅涉及最终输出的质量，还包括中间检索步骤获取的信息的相关性和精确度。 2. **流畅性(Fluency)** 流畅性关注生成文本的语言表达自然程度及其连贯性。即使信息准确无误，如果表述生硬晦涩，则用户体验会大打折扣。因此，在评估过程中也会考量这一点。 3. **相关性(Relevance)** 此项特别适用于检索部分的表现评判，即从大量文档集合中挑选出来的片段与给定问题之间是否存在紧密联系；同时也要考虑生成内容同上下文环境匹配与否。 #### 四种基础技能评测 - **检索效率(Retrieval Efficiency):** 衡量系统能够多快定位并提取有用资料的能力。 - **多样性(Diversity):** 防止重复冗余现象发生，鼓励不同角度的观点呈现。 - **一致性(Coherence):** 确保整个对话流程逻辑顺畅，前后呼应良好。 - **新颖性(Novelty):** 推动创新思维发展，避免简单复制粘贴已有答案。 通过上述七个方面的全面考察，可以较为公正客观地反映出一个具体实现版本下的RAG架构性能优劣之处。 ```python def evaluate_rag_model(model_output, reference_answers): """ 对RAG模型进行评估 参数: model_output (str or list[str]): 模型产生的输出. reference_answers (list[str]): 参考标准答案列表. 返回: dict: 各项得分汇总表单. """ from rouge_score import rouge_scorer scorer = rouge_scorer.RougeScorer(['rouge1', 'rougeL'], use_stemmer=True) results = { "accuracy": calculate_accuracy(model_output, reference_answers), "fluency": assess_fluency(model_output), "relevance": measure_relevance(model_output, context), "efficiency": time_taken / total_queries, "diversity": check_diversity(output_set), "coherence": score_coherence(conversation_history), "novelty": detect_novel_content(new_text) } return results ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值