RAG 评测

于 2024-05-23 13:38:51 发布
阅读量877 收藏 26
点赞数 18
分类专栏： NLP 文章标签： nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40959890/article/details/139140625
版权

原文：AIGC面试宝典

1. 合成RAG测试集

成功构建一个RAG系统后想要评估它的为性能需要一个评估数据集,该数据集包含以下列:

  • question(问题):想要评估的RAG的问题
  • ground_truths(真实答案):问题的真实答案
  • answer(答案):RAG预测的答案
  • contexts:RAG用于生成答案的相关信息列表

要创建这样的数据集,我们首先需要生成问题和答案的元组。
接下来,在RAG上运行这些问题以获得预测结果。

1.1 生成问题和基准答案(实践中可能会出现偏差)

要生成(问题、答案)元组,我们首先需要准备 RAG数据,将其拆分为块,并将其嵌入向量数据库中。完成这些步骤后,指示LLM 从指定主题中生成num_questions个问题,从而得到问题和答案元组。

为了从给定的上下文中生成问题和答案,我们需要按照以下步骤聚操作:

  1. 选择一个随机块并将其作为根上下文
  2. 从向量数据库中检索K个相似的上下文
  3. 将随机上下文和其K个相邻上下文的文本连接起来以构建一个个更大的上下文
  4. 使用这个大的上下文和num_questions在以下的提示模板中生成问题和答案
"""
Your task is to formulate exactly {num_questions} questions from given context and provide the answer
to each one.

End each question with a '?' character and then in a newline write the answer to that question using only the context provided.
Separate each question/answer pair by "XXX"
Each question must start with "question:".
Each answer must start with "answer:".

The question must satisfy the rules given below:
1. The question should make sense to humans even when read without the given context.
2. The question should be fully answered from the given context.
3. The question should be framed from a part of context that contains important information. It can also be from tables, code, etc.
4. The answer to the question should not contain any links.
5. The question should be of moderate difficulty.
6. The question must be reasonable and must be understood and responded by humans.
7. Do no use phrases like 'provided context', etc in the question
8. Avoid framing question using word "and" that can be decomposed into more than one question.
9. The question should not contain more than 10 words, make of use of abbreviation wherever possible.
context:{context)
"""
"""
您的任务是根据给定的上下文提出{num_questions}个问题,并给出每个问题的答案。
在每个问题的末尾加上'?'
提供的上下文写出该问题的答案。
每个问题/答案之间用"XXX"隔开。
每个问题必须以"question:"开头。
每个答案必须以"answer:"开头。

问题必须符合以下规则:
1.即使在没有给定上下文的情况下,问题也应该对人类有意义。
2.问题应能根据给定的上下文给出完整的答案。
3.问题应从包含重要信息的上下文中提取。也可以是表格、代码等。
4.问题答案不应包含任何链接。
5.问题难度应适中。
6.问题必须合理,必须为人类所理解和回答。
7.不要在问题中使用"提供上下文"等短语。
8.避免在问题中使用"和"字,因为它可以分解成多个问题。
9.问题不应超过10个单词,尽可能使用缩写。

语境:{上下文}
"""
  1. 重复以上步骤 num_count 次,每次改变上下文并生成不同的问题。

基于上面的工作流程,下面是生成问题和答案的结果示例。

在这里插入图片描述

1.2 代码案例

首先构建一个向量存储，其中包含RAG使用的数据

1.2.1 从维基百科加载
from langchain.document_loaders import WikipediaLoader

topic = 'python programming'
wikipedia_loader = WikipediaLoader(
						query = topic,
						load_max_docs = 1,
						doc_content_chars_max = 100000,
						)
docs = wikipedia_loader.load()
doc = docs[0]
1.2.2 加载数据后将其分块
from langchain.text_splitter import RecursiveCharacterTextSplitter

CHUNK_SIZE = 512
CHUNK_OVERLAP = 128
splitter = RecursiveCharacterTextSplitter(
				chunk_size = CHUNK_SIZE,
				chunk_overlap = CHUNK_OVERLAP,
				separators = ["."],
				)
splits = splitter.split_documents([doc])
1.2.3 在Pinecine中创建一个索引
import os
import pinecone

pinecone.init(
	api_key = os.environ.get("PINECONE_API_KEY"),
	environment = os.envieon.get("PINECONE_ENV"),
	)
index_name = topic.replace(" ","-")
if index_name in pinecone.list_indexs():
	pinecone.delete_index(index_name)
pinecone.create_index(index_name, dimension=768)
1.2.4 使用langchain 包装器来索引其中的分片嵌入
from langchain.vectorstores import Pinecone

docsearch = Pinecone.from_documents(
						splits,
						embedding_model,
						index_name=index_name,
						)
1.2.5 生成合成数据集

使用LLM、文档拆分、嵌入模型和Pinecone索引名称从TestsetGenerator类初始化一个对象。

from langchain.embeddings import VertexAIEmbeddings
from langchain.llms import VertexAI
from testset_generator import TestsetGenerator

generator_llm = VertexAI(
					location = 'europr-west3',
					max_output_tokens = 256,
					max_retries = 20,
					)
embedding_model = VertexAIEmbeddings()
testset_generator = TestsetGenerator(
						generator_llm = generator_llm ,
						documents = splits,
						embedding_model  = embedding_model ,
						index_name = index_name,
						key = 'text',
						)
1.2.6 通过传递两个参数来调用generate方法
synthetic_dataset = testset_generator.generate(
						num_contexts = 10,
						num_questions_per_context = 2,
						)
1.2.7 生成问题与答案如下

在这里插入图片描述
接下来使用RAG来预测每个问题的答案，并提供用于支撑响应的上下文列表

1.2.8 初始化RAG
from rag import RAG

rag = RAG(
		index_name,
		"text-bison",
		embedding_model,
		"text",
		)
1.2.9 用过对每个问题调用predict方法来迭代合成数据集并收集预测
rag_answers, contexts =[],[]

for i, row in synthetic_dataset.itterows():
	question = row["question"]
	prediction = rag.predict(question)
	rag_answer = prediction["answer"]
	rag_answers.append(rag_answer)
	source_documents = prediction["source_documents"]
	contexts.append([s.page_content for s in source_documents])
synthetic_dataset_rag = synthetic_dataset.copy()
synthetic_dataset_rag["answer"] = rag_answers
1.2.10 最终结果如下

在这里插入图片描述
基于以上步骤，我们已经为评估RAG做好了数据准备，接下来进行RAG 评估

2. RAG 评估方法

  • 独立评估
  • 端到端评估

2.1 独立评估

独立评估涉及对检索模块和生成模块（即阅读和合成信息)的评估。

2.1.1 生成模块
介绍

生成模块指的是将检索到的文档与查询相结合,形成增强或合合成的输入。这与最终答案或响应的生成不同,后者通常采用端到端的评估方方式。

2.1.2 评估指标

2.1.2.1、答案相关性(Answer Relevancy)
指标的目标：评估生成的答案与提供的问题提示之间的相关性。
答案如果缺乏完整性或者包含冗余信息,那么其得分将相对较低。这一指标通过问题和答案的结合来进行计算,评分的范围通常在0到1之间,其中高分代表更好的相关性。

示例：

问题:健康饮食的主要特点是什么?

低相关性答案:健康饮食对整体健康非常重要。
高相关性答案:健康饮食应包括各种水果、蔬菜、全麦食品、瘦肉和乳制品,为优化健康提供必要的营养素。

2.1.2.2、忠实度(Faithfulness)
评价标准：在检查生成的答案在给定上下文中的事实准确性。
评估的过程涉及到答案内容与其检索到的上下文之间的比对。这一指标也使用一个介于0到1之间的数值来表示,其中更高的数值意味着答案与上下文的一致性更高。

示例：

问题:居里夫人的主要成就是什么?
背景:玛丽·居里(1867-1934年)是一位开创性的物理学家和化学家,她是第一位获得诺贝尔奖的女性,也是唯位在两个不同领域获得诺贝尔奖的女性。

高忠实度答案:玛丽·居里在物理和化学两个领域都获得了诺贝尔奖,使她成为第一位实现这一成就的女性。
低忠实度答案:玛丽·居里只在物理学领域获得了诺贝尔奖。

2.1.2.3、上下文精确度(Context Precision)
指标：评估所有在给定上下文中与基准信息相关的条目是否被正确地排序。
理想情况下,所有相关的内容应该出现在排序的前部。这一评价标准同样使用0到1之间的得分值来表示,其中较高的得分反映了更高的精确度

指标:

  • 命中率(Hit Rate)
  • 平均排名倒数(MRR)
  • 归一化折扣累积增益(NDCG)
  • 精确度(Precision)等

2.1.2.4、答案正确性(Answer Correctness）
指标：主要用于测量生成的答案与实际基准答案之间的匹配程度。
这一评估考虑了基准答案和生成答案的对比,其得分也通常在0到1之间,较高的得分表明生成答案与实际答案的一致性更高。

示例:

基本事实:埃菲尔铁塔于1889年在法国巴黎竣工。

答案正确率高:埃菲尔铁塔于1889年在法国巴黎竣工。
答案正确率低:埃菲尔铁塔于1889年竣工,矗立在英国伦敦。

2.2 端到端评估

2.2.1介绍

对RAG模型对特定输入生成的最终响应进行评估,涉及模型生成的答案与输入查询的相关性和一致性。

2.2.2 端到端评估模块

1.无标签的内容评估:

  • 评价指标:
    • 答案的准确性
    • 相关性
    • 无害性

2.有标签的内容评估:

  • 评价指标:
    • 准确率(Accuracy)
    • 精确匹配(EM)

3. RAG关键指标和能力

评估RAG在不同下游任务和不同检索器中的应用可能会得到不同的结果。然而,一些学术和工程实践已经开始关注RAG的通用评估指标和有效运用所需的能力。

  • 关键指标:
    • 答案的准确性、
    • 答案的相关性
    • 上下文的相关性。
  • 关键基本能力:
    • 抗噪声能力
    • 拒绝无效回答能力
    • 信息综合能力
    • 反事实稳健性

4. 评估框架

  • RAGAS
  • ARES

4.1 RAGAS

RAGAS是一个基于简单手写提示的评估框架,通过这些提示全自动地衡量答案的的准确性、相关性和上下文相关性。

  • 算法原理:
    1.答案忠实度评估:利用大语言模型(LLM)分解答案为多个陈述,检验每个陈述与上下文的一致性。最终,根据支持的陈述数量与总陈述数量的的比例,计算出一个"忠实度得分"。
    2.答案相关性评估:使用大语言模型(LLM)创造可能的问题,并分析这些问题与原始问题的相似度。答案相关性得分是通过计算所有生成问题与原始问题相似度的平均值来得出的。
    3.上下文相关性评估:运用大语言模型(LLM)筛选出直接与问题相关的句子,以这些句子占上下文总句子数量的比例来确定上下文相关性得分。

4.2 ARES

ARES的目标是自动化评价RAG系统在上下文相关性、答案忠实度和答案相关性三个方面的性能。ARES减少了评估成本,通过使用少量的手动标注数据和合成数据,并应用预测驱动推理(PDR)提供统计置信区间,提高了评估的准确角性。

  • 算法原理:
    1.生成合成数据集:ARES首先使用语言模型从目标语料库中的文档生成合成问题和答案,创建正负两种样本。
    2.训练大语言模型(LLM)裁判:然后ARES对轻量级语言模型进行微调,利用合成数据集训练它们以评估上下文相关性、答案忠实度和答案相关性。
    3.基于置信区间对RAG系统排名:最后,ARES使用这些裁判模型为RAG系统打分,并结合手动标注的验证集,采用PPI方法生成置信区间,从而可靠地评估RAG系统的性能。
桂花很香,旭很美
关注
  • 18
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【AI大模型应用开发】【RAG评估】0. 综述：一文了解RAG评估方法、工具与指标
同学小张的博客
02-24 3885
本文主要总结了当前比较流行的RAG评估方法和指标。当前AI技术的快速发展，RAG和RAG评估是当前比较有前景的发展方向，不断有新的评估工具和理论被提出，让我们持续跟进，了解这些工具和理论，从而在使用时知道如何选择。
RAG评估方法-四种方法、两个自动化评估工具，中文/英文RAG评估数据集
m0_46850835的博客
02-29 3836
RAG自动评估工具，RAG自动数据生成，RAG公开数据集，RAG中文数据集，RAG英文数据集
【AI大模型应用开发】【RAG评估】综述：一文了解RAG评估方法、工具与指标
Langchain的博客
05-11 858
【AI大模型应用开发】【RAG评估】综述：一文了解RAG评估方法、工具与指标
RAG 评估框架 -- RAGAS
Anooyman的博客
01-14 1414
RAG 评估框架 -- RAGAS 详解
Elasticsearch：评估 RAG - 指标之旅
Elastic 中国社区官方博客
12-04 727
2020年，Meta发表了一篇题为 “知识密集型NLP任务的检索增强生成” 的论文。本文介绍了一种通过利用外部数据库将语言模型 (LLM) 知识扩展到初始训练数据之外的方法。从那时起，这种方法引起了研究人员的极大关注，并且由于其巨大的好处仍然是一个突出且备受讨论的话题。这些优点包括易于更新知识数据库、使较小的模型能够在特定任务上匹配较大模型的性能、允许生成泛化到训练数据之外的领域、减少幻觉的发生等等。所有这些实验和发现总是围绕着测量模型在给定任务上的性能。
RAG小结
cyz0202的博客
12-07 1077
RAG RAG做知识问答，我们所使用的语料、索引建立方式、训练方式，大致的模型参数，以及满足以上我们对GPU运算资源的需求。 需求总结 - Retriever Generator RAG 使用模型 DPR(Albert-small) mT5 DPR+mT5(fix-ctx) 相关参数 单元格 单元格 单元格 训练语料 网上问诊12万 单元格 单元格 实际占用GPU 单元格 单元格 单元格 注：fix-ctx指固定context encoder，不做更新 RAG
SQL Boy？大模型时代基于检索增强（RAG）的增删改查评估框架CRUD-RAG
Paper weekly
02-23 933
论文标题：CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models作者单位：中国科学技术大学，上海算法创新研究院，新华社融媒国重论文地址：https://arxiv.org/abs/2401.17043数据&代码地址：https://gith...
LLM之RAG实战（二十七）| 如何评估RAG系统
wshzd的博客
02-21 2006
总之，“人在回路反馈”不仅仅是收集人类的见解，而是创建一个动态的、适应性强的人工智能，可以微调其行为，更好地为用户服务。这种迭代过程确保了我们的RAG+LLM应用程序保持在最前沿，不仅提供了答案，而且提供了上下文感知的、微妙的响应，反映了对用户需求的真正理解。通过自动化流程，您可以确保您的评估不仅是彻底的，而且是高效的迭代，从而实现快速的优化和细化。例如，如果您的团队正在开发一个内部LLM，该LLM是针对您的特定领域和数据进行训练的，那么该过程通常需要开发人员、Prompt工程师和数据科学家的合作。
RAG技术知识图谱概览
最新发布
05-22
RAG技术知识
基于langchain的RAG实战
02-19
基于langchain的RAG实战
RAG本地离线训练自己的ChatPDF
02-05
RAG训练用PDF样例（太平洋金诺人生保险条款）
用于大模型RAG的检索语料
03-14
用于大模型RAG的检索语料
大模型-大模型RAG应用基础认知视频
03-16
大模型系列基础认知之一：大模型RAG应用基础认知
读懂RAG这一篇就够了，万字详述RAG的5步流程和12个优化策略
2401_82452722的博客
01-30 2426
©作者|帅气的桌子来源|神州问学RAG概述ChatGPT、GLM等生成式人工智能在文本生成、文本到图像生成等任务中表现出令人印象深刻的性能。但它们也存在固有局限性，包括产生幻觉、缺乏对生成文本的可解释性、专业领域知识理解差，以及对最新知识的了解有限。为了克服这些限制，提高模型的能力，有两种主要途径：一种是微调（Fine Tune）来更新模型，另一种是让他们能够与外部世界互动，以不同的形式和方式获取知识。微调固然效果好，可以让模型真正的“学会”一些私域知识。但是微调也会带来几个问题：首先，由于生成模型依赖于内
LLM之RAG实战（三十二）| 使用RAGAs和LlamaIndex评估RAG
wshzd的博客
03-19 1533
第二个和第三个问题的上下文精度为0，表明检索到的上下文中的相关上下文没有排在最前面。此外，忠实度得分并不低，这表明答案主要是从上下文中得出或总结的，可以得出结论，答案不是由于LLM的幻觉而产生的。在RAGAs中，如果您想使用另一个LLM（如Gemini）来使用LlamaIndex进行评估，即使在调试了RAGAs的源代码后，我也没有在版本0.0.22中找到任何有用的方法。此外，我们发现，尽管我们的上下文相关性得分较低，gpt-3.5-turb-16k（RAGA的默认模型）仍然能够从中推断出答案。
【AI大模型应用开发】【RAG评估】1. 通俗易懂：深度理解RAGAS评估方法的原理与应用
同学小张的博客
02-25 3863
本文我们针对RAGAS评估方法进行详细介绍。我们将深入其原理，理解其评估指标背后是怎么实现的。都是我根据自己的理解用大白话解释，保证大家能看懂。
评估 RAG 的神器来啦！TruLens + Milvus=？
ZILLIZ
11-10 390
因此，对于简单的问题，一般情况下推荐较低的 top-K 值，这样检索性能和结果都更佳。因此我们需要根据自己的使用场景和需求，用评估工具来评价不同的配置选择在具体用例中的质量。目前，主流的向量搜索技术提供者包括向量数据库 Milvus 和 Zilliz Cloud，向量搜索库 FAISS，以及与传统数据库集成的向量搜索插件。为验证回答的准确性，我们应将回复分为独立语句，并在检索上下文中独立查证每个语句的出处来源。换言之，如果向量数据库包含的信息十分准确，则 RAG 提供的答案也准确。
RAG 修炼手册｜如何评估 RAG 应用？
ZILLIZ
04-23 859
在设计这些 prompt 时，有时还要考虑 LLM 的一些偏见，比如 LLM 常见的位置偏见：当 prompt 比较长时，LLM 容易注意到 prompt 里前面的一些内容，而忽略一些中间位置的内容。因此内部的一些关键组件就可以决定这个 RAG 应用表现的好坏。当以黑盒方式来评估 RAG 应用时，我们看不到 RAG 应用的内部，只能从输入给 RAG 应用的信息和它返回的信息来评估 RAG 的效果。但对于一些比较简单的 query 测试，比如标准答案只有一些简单的短语的，也可以使用一些经典的指标。
RAG模型的性能评估：如何衡量模型的知识检索能力
禅与计算机程序设计艺术
03-12 37
1. 背景介绍 1.1 人工智能的发展 随着人工智能技术的不断发展，知识检索和问答系统在各个领域都取得了显著的进展。从搜索引擎到智能语音助手，人工智能已经成为我们日常生活中不可或缺的一部分。然而，要实现真正的智能问答系统，仅仅依靠传统的检索方法和模式匹配技术是远远不够的。为了提高问答系统的准确性和智能
langchain rag
04-13
LangChain是一种基于区块链技术的语言学习平台，旨在为学习者提供全球范围内的语言学习资源和交流机会。它通过智能合约和去中心化的方式连接学习者和教师，使得学习者可以通过在线课程、语言伙伴和社区互动等方式来提高语言能力。 Rag（Relevance-Aware Generator）是一种基于GPT模型的生成式对话系统。它是OpenAI开发的一种人工智能模型，可以根据用户的输入生成相关的回答。Rag模型结合了检索式对话系统和生成式对话系统的优点，可以根据上下文和问题的相关性生成更加准确和有逻辑的回答。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值