【论文阅读】RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework

已于 2024-08-13 21:01:19 修改
阅读量798 收藏 11
点赞数 16
文章标签： 论文阅读
于 2024-08-11 23:11:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41502855/article/details/141113186
版权

关键词： RAG评估工具​
论文地址：https://arxiv.org/abs/2408.01262

工具地址：https://github.com/gomate-community/rageval

​Intro

要构建垂直领域下的RAG评估验证集有两个挑战：
1、这类文档的收集和分析需要专业知识，带来的成本高的问题。
2、与通常要求模型生成相对简短的答案的开放领域QA任务不同，垂直领域的答案往往更加全面和详细，从而使其评估复杂化。

为了解决这两个问题，本文提出了RAGEval （schema-configuration-document-QAR-keypoint），用于在各种垂直领域中自动生成特定场景下的的RAG评估用例。这种环环相扣的设计，包括ans和ref的反向校验，主要是强调各个环节coherence和consistensy，保证数据集生成的准确性和事实性，尽可能降低幻觉影响。

具体来说，RAGEval首先收集一小组特定于领域的种子文档来总结一个schema，该schema是通过分析事实信息创建的，从而封装了基本的特定于领域的知识。然后在在某些规则的约束下，RAGEval根据该schema生成不同的configuration。进一步利用这些configuration来生成不同的文档。最后，生成的文档和配置都用于生成问题。然后使用问题、参考和答案的三元组来评估RAG的有效性。

关于评估指标，本文主要从3个维度，Completeness, Hallucination, and Irrelevance，关注RAG中LLM生成质量。

在这里插入图片描述

Method

Stage 1: Schema Summary

Schema 包括组织、类型、事件、日期和地点等关键元素，总结了场景的特征信息。
seed documentst + LLM -> schema
在这里插入图片描述
做schema提取的好处是增强文本生成的可控性，并支持生成与特定文档类型的结构模式一致的连贯的、适合领域的内容。

一个schema的例子：
在这里插入图片描述

Stage 2: Document Generation

这一步是为了生成具有丰富事实信息、逻辑一致性和内部一致性的虚拟文本。为了保持一致性，先做configuration生成(将内容填充到schema中)，而不是直接生成doc
schema + LLM -> config
在这里插入图片描述
一个configuration的例子：
在这里插入图片描述
基于configuration和模型的先验知识进行文档生成，通过LLM提供更丰富的细节和描述复杂的关联关系，将configuration转化为文本文档。
config + LLM -> doc
在这里插入图片描述

Stage 3: QRA Generation

使用给定的文档D和配置C生成，问题-参考-答案(QRA)三元组

1、利用config + LLM -> 问题和初始答案
在这里插入图片描述
涉及的问题类别包括以下7种：
在这里插入图片描述
2、提取引用。捕获所有相关的参考资料，来支撑答案。使用构建的问题Q和初始答案A，我们利用提取prompt从doc中提取相关信息片段(参考文献)R
q, a, doc + LLM -> ref
在这里插入图片描述
3、优化答案和参考文献。
这一步保证答案和参考文献对齐

遵循以下原则:
如果参考R包含初始答案A中没有的内容，相应地补充答案。
相反，如果最初的答案A包含参考文献R中没有的内容，首先检查文章中是否有遗漏的参考文献。如果找到这样的R，将其添加到引用集中，并保持答案不变。如果没有找到相应的参考文献，从答案中删除不相关的内容。
（关于这步是否通过大模型实现，文中没有提到）
在这里插入图片描述
4、生成要点。涉及评估指标计算，在该评估框架中，评估答案不仅仅是关于正确或关键词匹配，而是答案覆盖的要点数。为了方便起见，从每个问题Q的标准答案A中生成要点。
通过answer + prompt + GPT-4o -> 3-5 key points
在这里插入图片描述

Datasets & Metrics

Datasets

接下来用前文提到的方式构造了一个名为DRAGONBall的数据集，数据集情况如下：
在这里插入图片描述
然后分别定义了检索和生成指标

Retrieval Metrics

Recall： 评估检索结果的ref和ground truth中的ref的match程度
在这里插入图片描述

n is the total number of ground truth references,
Gi denotes the i-th ground truth reference,
R = {R1, R2, . . . , Rk} represents the set of retrieved references,
M (Gi, R) is a boolean function that returns true if all sentences in Gi are found in at least one reference in R, and false otherwise,
I(·) is the indicator function, returning 1 if the condition is true and 0 otherwise.

Effective Information Rate (EIR)：这个指标量化了检索段落中相关信息的比例，确保检索过程在信息内容方面既准确又有效。
在这里插入图片描述

Gi is the i-th ground truth reference,
Rt is the set of total retrieved passages,
m is the number of ground truth references successfully matched,
|Gi ∩ Rt| represents the number of words in the intersection of the i-th ground truth reference and the concatenated retrieved passages Rt, calculated only if Gi is matched in Rt
|Rj| represents the total number of words in the j-th retrieved passage
k is the total number of retrieved passages.

Generation Metrics

Completeness. :Completeness衡量生成的答案从ground truth中捕获key points的程度
在这里插入图片描述

where 1[·] is an indicator function that evaluates to 1 if the generated answer A semantically covers the key point ki, and 0 otherwise. Here, “covers” means that the generated answer contains information consistent with and correctly representing the key point.

Hallucination:"幻觉”会识别内容与关键点相矛盾的情况，突出显示潜在的不准确之处
在这里插入图片描述

where 1[·] is an indicator function that evaluates to 1 if the generated answer A contradicts the key point ki, and 0 otherwise.

Irrelevancy.:不相关性评估的是来自基本事实的关键点的比例，这些关键点既没有被生成的答案覆盖，也没有与之相矛盾。
在这里插入图片描述

Quality Assessment

文章首先对生成的QAR和doc质量进行了评估。
设立了如下评估标准，并通过人工评估的方式得出结论，本文的方法生成了QAR和doc是比较高质量的。
在这里插入图片描述
在这里插入图片描述在这里插入图片描述在这里插入图片描述
接下来是评估本文提出的评估框架和人工评估的一致性，通过从使用来自QAR质量评估的420个case，并要求人类裁判对来自“Baichuan-2-7B-chat”的答案进行评判，结论是双方差异低于0.015，验证了自动评估指标的可靠性，并确认了与人类判断的一致性。
在这里插入图片描述

Experiment

实验配置的retrieval和generate参数可以看下原文的设置。

Overall Model Performance Results.(Without irrelevant result)

1、2B模型依然有不错的表现，说明小模型也有在RAG场景超越更大模型的潜力
2、英文场景下Llama3-8B-Instruct更好，中文场景下Qwen1.5-14B-chat更好，符合直觉
3、GPT-4o虽🐮，但并没有展现出较大的优势，这表明，随着进一步的发展，开源模型有可能缩小性能差距。
在这里插入图片描述

Retrieve Model Performance Results

比较了几个向量模型在中英文场景下，检索和生成指标的得分，结论是 较高的Recall 和EIR得分通常会导致较好的completeness和hallucination得分
在这里插入图片描述

Hyperparameter Comparison

涉及retrieval和generation，必然少不了对topK和chunk大小的讨论
在这里插入图片描述
1、TopK的实验结果比较符合直觉，topK越大，recall越大，导致EIR更低，回答的完整性、幻觉和不相关性都更高，也许这就是多答多错🤣。
2、chunk大小在中英文上显现出差异，中文场景似乎更小的chunk表现更好，而英文场景则需要稍大一些的chunk。
3、retrieval和generation的表现并不一定一直正相关，需要trade-off，更重要的是根据不同场景和任务选择适合的模型和超参数配置。

Future work

拓展单独当前eval框架到更多场景，以及探索如何缩小开源模型和闭源模型在rag上的差距。

Yanc_L
关注
Apollo Planning决策规划算法代码详细解析 (1)：Scenario选择
自动驾驶Player的博客
03-22 1万+
本文重点讲解Apollo代码中怎样配置Scenario以及选择当前Scenario，Scenario决策是Apollo规划算法的第一步，本文会对代码进行详细解析，也会梳理整个决策流程，码字不易，喜欢的朋友们麻烦点个关注与赞。 在本文你将学到下面这些内容： 规划器planer的种类； 规划器planer的主要函数及逻辑； 场景管理类ScenarioManager的运行机制； 场景注册方法； 场景决策流程，如何选择当前场景 详细的apollo决策规划代码分析 代码具体过程如下： 1、Scenar
行人重识别数据集： Person Re-ID dataset Collection
AI炼丹师
05-09 1991
转载自https://blog.csdn.net/carson2005/article/details/11636673
【大模型RAG】 RAGEval: 场景特定的 RAG 评估数据集生成框架
数智笔记
08-12 622
检索增强生成（RAG）系统在缓解大型语言模型（LLMs）幻觉方面展现了其优势。现有的RAG基准主要关注评估LLMs是否能正确回答一般知识问题。然而，它们无法评估RAG系统在处理来自不同垂直领域的数据时的有效性。本文介绍了RAGEval，这是一个自动生成评估数据集的框架，用于评估不同LLMs在不同场景下的知识使用能力。具体而言，RAGEval从种子文档中总结模式，应用配置生成多样化的文档，并根据文章和配置构建问答对。我们提出了三种新颖的指标：完整性、幻觉和不相关性，来仔细评估LLMs生成的响应。
也读领域RAG评估数据生成框架RAGEval：兼看昨日大模型进展早报综合回顾
mama19971023的博客
08-06 918
本文主要讲了两个方面的工作，一个是昨日大模型进展早报，来简单做个回顾。另一个是当前RAG评估数据集的一个自动生成框架，思路还蛮有趣的。
RAG 评估框架 -- RAGAS
Anooyman的博客
01-14 1694
RAG 评估框架 -- RAGAS 详解
GoMate：配置化模块化的Retrieval-Augmented Generation (RAG) 框架
全世界的博客
06-26 702
GoMate是一个配置化模块化的Retrieval-Augmented Generation (RAG)框架，其核心技术围绕着如何高效地从大量文本数据中检索信息并生成高质量的文本输出。Rageval是GoMate框架中专门设计的评估工具，旨在对Retrieval-Augmented Generation (RAG)系统的性能进行全面评估。Rageval不仅提供了详细的性能指标，还支持多种评估任务，帮助开发者深入理解系统的优缺点，从而进行针对性的优化。多任务评估。
Scenario specification based testing model generation
02-09
在软件测试领域，为了有效地对复杂系统进行测试，一种常用的方法是基于场景规范的测试模型生成。本文聚焦于如何利用场景来构建约束有限状态机（FSM），从而简化测试模型的建立，提升测试效率。 ...
Test Scenario Generation for Reliability Tactics from UML Sequence Diagram
02-22
In safety-critical systems (e.g. ship control system, avionics system), various reliability tactics are applied for guaranteeing the safe operation of the system. Therefore, much more attentions ...
论文研究-随机能力规划的Scenario模型及其决策风险分析.pdf
09-20
论文研究-随机能力规划的Scenario模型及其决策风险分析.pdf, 为研究随机环境下的生产能力扩张问题，采用Scenario方法，建立了市场需求量和产品价格为随机变量的多计划期...
【论文笔记】AutoLFADS (Nature Methods, 2022)
Jurio的博客
09-11 1425
通过深度神经群体动力学模型实现最先进的性能需要对每个数据集进行广泛的超参数调整。 **AutoLFADS 是一个模型调整框架，可以根据来自各种大脑区域和任务的数据自动生成高性能的自动编码模型，而无需行为或任务信息**。作者在几个恒河猴数据集上证明了其广泛的适用性。
Weakly-Supervised Video Moment Retrieval via Semantic Completion Network 论文阅读
weixin_44609958的博客
09-11 1333
视频片段检索旨在根据给定的自然语言查询搜索与之最相关的片段。现有方法大多在全监督设置下进行训练，这需要为每个查询手动标注其对应的时间边界。然而，手动标注这些时间边界实际上既费时又昂贵。在本文中，我们提出了一种新颖的弱监督片段检索框架，仅需要粗略的、视频级别的标注用于训练。具体而言，我们设计了一个提案生成模块，该模块聚合上下文信息，一次性生成并评分所有候选提案。然后，我们设计了一种结合利用与探索的算法，选择前K个提案。
ACL 2024：交叉领域情感分析——论文阅读笔记
weixin_62472350的博客
09-11 1319
阅读了一篇ABSA的论文，在这里写下自己的一些理解小笔记，可能有点小乱，原文在这下面： 论文链接：Refining and Synthesis: A Simple yet Effective Data Augmentation Framework for Cross-Domain Aspect-based Sentiment Analysis - ACL Anthology 中文文章链接：论文速递丨ACL 2024：交叉领域情感分析 (qq.com) 大多数ABS
GPT-4论文阅读
weixin_52185313的博客
09-11 1260
本篇虽然是GPT-4的技术报告，但其中没有提到GPT-4的具体模型架构与训练过程，主要就是讲他的结果。GPT-4是一个多模态的模型，能够接受文本或者是图片的输入，最后输出纯文本GPT-4基本能够达到类人的表现，在事实性、可控性和安全性上有了很大的进步GPT-4在真实世界中与人还是存在差距，但是在很多具有专业性或者学术性的数据集或者任务上面上，GPT-4有时候能够达到甚至超过人类的水平。
【论文阅读】Face2Diffusion for Fast and Editable Face Personalization
weixin_57974242的博客
09-12 358
面部个性化旨在将从图像中获取的特定面部插入到预先训练的文本到图像扩散模型中。然而，由于对训练样本的过度拟合，以前的方法在保持身份相似性和可编辑性方面仍然具有挑战性。在本文中，我们提出了 Face2Diffusion (F2D)，用于高可编辑性面部个性化。F2D 背后的核心思想是从训练管道中删除与身份无关的信息可以防止过度拟合问题并提高编码面部的可编辑性。F2D由以下三个新颖的组件组成：1）多尺度身份编码器提供了良好解开的身份特征，同时保留了多尺度信息的优势，从而提高了相机姿势的多样性。
clip论文阅读（Learning Transferable Visual Models From Natural Language Supervision）
最新发布
weixin_47696370的博客
09-14 532
clip
论文阅读：RGBD GS-ICP SLAM
qq_53589322的博客
09-11 1123
文章提出了RGBD GS-ICP-SLAM，这是一种利用三维高斯表示进行高保真度空间表示的密集表示SLAM系统。作者证明了利用单一三维高斯地图进行跟踪和建图的G-ICP和3DGS的融合可以产生相互的好处。跟踪和建图过程之间的高斯交换与尺度对齐最小化了冗余计算并构建了一个高效的系统。此外，动态关键帧选择方法提高了跟踪和建图性能。通过广泛的实验，所提出的方法在空间表示、相机位姿估计和总系统速度方面呈现出最先进的性能。
【论文阅读笔记】Tackling the Generative Learning Trilemma with Denoising Diffusion GANs
weixin_43357695的博客
09-10 1400
我们模型的一个自然问题是，为什么不仅仅是训练一个 GAN，它可以使用传统的设置一次性生成样本，而我们的模型通过迭代去噪生成样本。在图像生成中，我们观察到我们的模型获得了与扩散模型竞争的样本质量和模式覆盖率，同时只需要两个去噪步骤，与Song等人(2021c)在CIFAR-10上的预测器校正器采样相比，采样速度提高了约2000倍。为了说明这一点，在图 2 中，我们可视化了多模态数据分布的不同去噪步长的真实去噪分布。具体来说，我们的正向扩散的设置类似于Eq. 1中的扩散模型，主要假设T很小(T≤8)，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值