【aidoczh.com】RAGAS中文教程——使用RAGAs评估RAG应用程序

置顶 已于 2024-11-06 09:04:02 修改
阅读量5k 收藏 41
点赞数 20
分类专栏： AIDOCZH 文章标签： 人工智能 语言模型
于 2024-11-06 07:07:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjjc1017/article/details/143550950
版权

【aidoczh.com】RAGAS中文教程——使用RAGAs评估RAG应用程序

文章目录

1. RAGAS中文教程地址

http://www.aidoczh.com/ragas/

2. 什么是RAGAs

RAGAs（Retrieval-Augmented Generation Assessment）是一个框架（GitHub，文档），为您提供必要的要素，帮助您在组件层面评估RAG管道。

到目前为止，我们知道为检索增强生成（RAG）应用程序构建概念验证很容易，但使其达到生产就绪状态非常困难。让RAG管道的性能达到令人满意的状态尤其困难，因为RAG管道中包含不同的组件：

  • 检索器组件： 从外部数据库检索额外的上下文，以便大型语言模型（LLM）回答查询。
  • 生成器组件： 基于包含检索信息的提示生成答案。

在评估RAG管道时，您必须分别且整体地评估这两个组件，以了解RAG管道是否以及在哪里需要改进。此外，为了理解您的RAG应用程序的性能是否在提升，您必须定量地进行评估。为此，您需要两个要素：一个评估指标和一个评估数据集。

目前，确定正确的评估指标和收集良好的验证数据是一个活跃的研究领域。随着这一主题的快速发展，我们目前正在见证各种RAG评估框架方法的出现，例如RAG指标三合一、ROUGE、ARES、BLEU和RAGAs [1]。以下将重点介绍如何使用RAGAs [1]评估RAG管道。

评估数据

RAGAs的有趣之处在于它最初是作为一个“无参考”评估框架 [1] 开始的。这意味着，不必依赖评估数据集中人工标注的真实标签，RAGAs在底层利用LLM进行评估。

为了评估RAG管道，RAGAs需要以下信息：

  • question: 作为RAG管道输入的用户查询。输入。
  • answer: 从RAG管道生成的答案。输出。
  • contexts: 用于回答question的从外部知识源检索的上下文。
  • ground_truths: question的真实答案。这是唯一需要人工标注的信息。此信息仅对度量context_recall是必需的。

利用LLM进行无参考评估是一个活跃的研究课题。虽然尽可能少地使用人工标注数据使其成为一种更便宜和更快速的评估方法，但关于其缺点（如偏差）的讨论仍在进行中 [3]。然而，一些论文已经显示出有希望的结果 [4]。有关详细信息，请参阅RAGAs [1] 论文的“相关工作”部分。

请注意，该框架已扩展为提供需要真实标签的指标和范式（例如，context_recall和answer_correctness。

此外，该框架为您提供自动生成测试数据的工具。

评估指标

RAGAs为您提供了一些指标，以对RAG管道进行组件级和端到端评估。

在组件级，RAGAs为您提供了评估检索组件（context_relevancy和context_recall）以及生成组件（faithfulness和answer_relevancy）的指标 [2]：

  • 上下文精度衡量检索上下文的信噪比。此指标使用question和contexts计算。
  • 上下文召回率衡量是否检索到回答问题所需的所有相关信息。此指标基于ground_truth（这是框架中唯一依赖于人工标注真实标签的指标）和contexts计算。
  • 真实性衡量生成答案的事实准确性。给定上下文中正确陈述的数量除以生成答案中的陈述总数。此指标使用question、contexts和answer。
  • 答案相关性衡量生成的答案与问题的相关性。此指标使用question和answer计算。例如，对于问题“法国在哪里，它的首都是哪里？”答案“法国在西欧。”将获得较低的答案相关性，因为它只回答了一半的问题。

所有指标的范围均为[0, 1]，较高的值表示更好的性能。

RAGAs还为您提供了一些指标以对RAG管道进行端到端评估，例如答案语义相似度和答案正确性。本文重点介绍组件级指标。

3. 使用RAGAs评估RAG应用程序

本节使用RAGAs评估一个最小的基础RAG管道，以向您展示如何使用RAGAs并让您了解其评估指标。

前提条件

确保您已安装所需的Python软件包：

  • RAG管道的langchain、openai和weaviate-client
  • 用于评估RAG管道的ragas
#!pip install langchain openai weaviate-client ragas

此外，在根目录下的.env文件中定义您的相关环境变量。要获得OpenAI API密钥，您需要一个OpenAI帐户，然后在API密钥下“创建新密钥”。

OPENAI_API_KEY="<YOUR_OPENAI_API_KEY>"

设置RAG应用程序

在评估您的RAG应用程序之前，您需要先设置它。我们将使用一个基础的RAG管道。由于我们将使用以下文章中详细描述的相同设置，因此本节将简短说明。

检索增强生成（RAG）：从理论到LangChain实现

从原始学术论文的理论到其与OpenAI、Weaviate和LangChain的Python实现

towardsdatascience.com

首先，您必须通过加载和分块文档来准备数据。

import requests
from langchain.document_loaders import TextLoader
from langchain.text_splitter import CharacterTextSplitter

url = "https://raw.githubusercontent.com/langchain-ai/langchain/master/docs/docs/modules/state_of_the_union.txt"
res = requests.get(url)
with open("state_of_the_union.txt", "w") as f:
    f.write(res.text)

# 加载数据
loader = TextLoader('./state_of_the_union.txt')
documents = loader.load()

# 分块数据
text_splitter = CharacterTextSplitter(chunk_size=500, chunk_overlap=50)
chunks = text_splitter.split_documents(documents)

接下来，使用OpenAI嵌入模型为每个块生成向量嵌入，并将它们存储在向量数据库中。

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Weaviate
import weaviate
from weaviate.embedded import EmbeddedOptions
from dotenv import load_dotenv,find_dotenv

# 从.env文件加载OpenAI API密钥
load_dotenv(find_dotenv())

# 设置向量数据库
client = weaviate.Client(
  embedded_options = EmbeddedOptions()
)

# 填充向量数据库
vectorstore = Weaviate.from_documents(
    client = client,    
    documents = chunks,
    embedding = OpenAIEmbeddings(),
    by_text = False
)

# 将向量存储定义为检索器以启用语义搜索
retriever = vectorstore.as_retriever()

最后，设置一个提示模板和OpenAI LLM，并将它们与检索器组件组合成一个RAG管道。

from langchain.chat_models import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.schema.runnable import RunnablePassthrough
from langchain.schema.output_parser import StrOutputParser

# 定义LLM
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

# 定义提示模板
template = """You are an assistant for question-answering tasks. 
Use the following pieces of retrieved context to answer the question. 
If you don't know the answer, just say that you don't know. 
Use two sentences maximum and keep the answer concise.
Question: {question} 
Context: {context} 
Answer:
"""

prompt = ChatPromptTemplate.from_template(template)

# 设置RAG管道
rag_chain = (
    {"context": retriever,  "question": RunnablePassthrough()} 
    | prompt 
    | llm
    | StrOutputParser() 
)

准备评估数据

由于RAGAs旨在成为一个无参考评估框架，评估数据集的准备工作是最小化的。您将需要准备question和ground_truths对，从中可以通过推理准备其余信息，如下所示：

from datasets import Dataset

questions = ["What did the president say about Justice Breyer?", 
             "What did the president say about Intel's CEO?",
             "What did the president say about gun violence?",
            ]
ground_truths = [["The president said that Justice Breyer has dedicated his life to serve the country and thanked him for his service."],
                ["The president said that Pat Gelsinger is ready to increase Intel's investment to $100 billion."],
                ["The president asked Congress to pass proven measures to reduce gun violence."]]
answers = []
contexts = []

# 推理
for query in questions:
  answers.append(rag_chain.invoke(query))
  contexts.append([docs.page_content for docs in retriever.get_relevant_documents(query)])

# 转换为字典
data = {
    "question": questions,
    "answer": answers,
    "contexts": contexts,
    "ground_truths": ground_truths
}

# 将字典转换为数据集
dataset = Dataset.from_dict(data)

如果您对context_recall指标不感兴趣，则不需要提供ground_truths信息。在这种情况下，您只需要准备question。

4. 评估RAG应用程序

首先，从ragas.metrics中导入您想使用的所有指标。然后，您可以使用evaluate()函数，并简单地传入相关指标和准备好的数据集。

from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_recall,
    context_precision,
)

result = evaluate(
    dataset = dataset, 
    metrics=[
        context_precision,
        context_recall,
        faithfulness,
        answer_relevancy,
    ],
)

df = result.to_pandas()

下方，您可以看到示例的RAGAs评分结果：

RAGAs评分上下文精度、上下文召回率、真实性和答案相关性。

我们可以做出以下观察：

  • context_relevancy（检索上下文的信噪比）：虽然LLM认为所有上下文对于最后一个问题都是相关的，但它也认为对第二个问题检索的大部分上下文是不相关的。根据此指标，您可以尝试不同数量的检索上下文以减少噪音。
  • context_recall（是否检索到回答问题所需的所有相关信息）：LLM评估认为检索到的上下文包含回答问题所需的相关信息。
  • faithfulness（生成答案的事实准确性）：虽然LLM判断第一个和最后一个问题回答正确，但错误地陈述总统未提及英特尔CEO的第二个问题答案的真实性被评估为0.5。
  • answer_relevancy（生成答案与问题的相关性）：所有生成的答案都被认为与问题相当相关。

5. 总结

构建概念验证的RAG应用程序很容易，但让其性能达到生产就绪状态很困难。就像一个机器学习项目一样，您应该使用验证数据集和评估指标来评估RAG管道的性能。

然而，由于RAG管道由多个需要分别和组合评估的组件组成，您将需要一组评估指标。此外，从人工标注者那里生成高质量的验证数据集是困难的、耗时的且昂贵的。

AI大模型探索之路-应用篇11：AI大模型应用智能评估（Ragas）
寻道AI，探索AI无限可能！
04-13 4438
随着人工智能技术的飞速发展，AI大模型（LLM）已经成为了推动技术创新和应用的关键因素。这些大模型在语言理解、图像识别、自然语言生成等领域展现出了惊人的能力。然而，随着模型规模的增大，它们对计算资源的消耗、环境适应性、模型稳定性、安全性和可解释性等方面也提出了新的挑战。因此，对AI大模型进行智能评估变得至关重要，以确保它们在实际应用中的稳定性、可靠性和有效性。本文将详细介绍Ragas框架，一个专为AI大模型设计的智能评估工具。
【AI大模型应用开发】【RAG评估】2. 实战：LangChain x RAGAs x LangSmith联合评估RAG应用，兼看如何借助LangSmith有效学习LangChain
同学小张的博客
02-26 2770
今天我们完整的实战：将RAGAs集成在LangChain的RAG应用中，同时打通LangSmith平台，使评估过程可视化。同时还会有意外收获：带你看看如何利用LangSmith平台来有效学习LangChain的使用和相关知识。
深度测评 RAG 应用评估框架：指标最全面的 RAGas
m0_59235945的博客
10-17 7629
本文介绍了如何使用 ragas 生成测试集，介绍了多个常用的 RAG 评估指标。本文生成测试集部分代码基于 ragas v0.1 版本编写，具有较多问题根本无法使用，升级 v0.2.0 后出现代码兼容问题无法运行，后续等我更新吧。评估部分 v0.2.0 是兼容的，并且我在 v0.1 下评估会报错类似等问题，在升级后完美解决了，也没有出现指标 NaN 或者 0 的情况，推荐使用。
使用本地私有大模型进行RAGAS评估
最新发布
qq_46024883的博客
03-28 536
使用本地私有大模型进行RAGAS评估
深入理解RAG评估：使用LangChain、RAGAs和LangSmith构建高质量检索增强系统
海棠AI实验室
03-07 965
通过本文，我们深入了解了如何使用LangChain、RAGAs和LangSmith来构建、评估和优化RAG系统。我们不仅学习了如何搭建基础的RAG系统，还掌握了如何利用RAGAs进行系统评估，以及如何通过LangSmith进行监控和调试。更重要的是，我们探讨了多种优化策略，包括文档处理优化、检索策略优化和答案生成优化。这些优化方法能够帮助我们构建更高质量的RAG系统，从而在实际应用中取得更好的效果。希望这篇文章能帮助你更好地理解和应用RAG技术，构建出更智能、更可靠的AI应用！
可视化您的 RAG 数据 — 使用 Ragas 评估您的检索增强生成系统
liferecords的博客
03-08 1795
对于没有 ragas 的问题，它是 0.36，对于有 ragas 的问题，它是 0.52。预计该系统在处理 ragas 生成的问题时会表现得更好，因为这些问题是基于可用数据的，而 ChatGPT 直接生成的问题可能来自训练 ChatGPT 的所有数据。此外，许多不包含相关信息的维基百科特定文本添加，例如指向其他语言的链接或编辑注释，形成没有相邻问题的集群。它有助于在相关文档的上下文中查看问题。事实证明，同时转换问题和文档的相似性图对大量问题的帮助不大，因为或多或少的问题聚集在一起，并且往往与文档分开。
Ragas
AI工程化、开源分享、文档翻译、代码笔记
04-28 1800
一、关于 Ragas 二、安装🛡️ 三、快速使用 🔥 Open Analytics 🔍 四、References 五、生成综合测试集 文档 数据生成 六、使用您的测试集进行评估 数据 Metrics 指标 评估 七、监控生产中的 RAG 需要监控的方面
Ragas 开源项目教程
gitblog_00979的博客
08-08 411
Ragas 开源项目教程 ragasEvaluation framework for your Retrieval Augmented Generation (RAG) pipelines项目地址:https://gitcode.com/gh_mirrors/ra/ragas 项目介绍 Ragas 是一个用于评估检索增强生成（RAG）管道的框架。RAG 是一类使用外部数据增强 LLM（大型语言模...
Ragas开源项目安装与使用指南
gitblog_01086的博客
08-08 688
Ragas开源项目安装与使用指南 项目地址:https://gitcode.com/gh_mirrors/ra/ragas 1. 项目目录结构及介绍 Ragas项目是一个用于评估检索增强生成（Retrieval Augmented Generation, 简称RAG）管道的框架。其目录结构通常遵循Python开源项目的标准布局，尽管具体的文件名和结构可能在实际仓库中有所变化，以下提供一个基于通用实...
Py之Ragas：Ragas(一款用于评估检索增强生成RAG流程的评估框架)的简介、安装、使用方法之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-16 4471
​ Py之Ragas：Ragas(一款用于评估检索增强生成RAG流程的评估框架)的简介、安装、使用方法之详细攻略 目录 Ragas的简介 Ragas的安装 Ragas的使用方法 Ragas的简介 2023年5月15日，Ragas正式发布，这是一款用于评估检索增强生成（RAG）流程的评估框架。专门的解决方案，用于评估、监控和改进生产中的LLM和RAG应用的性能，包括用于生产质量监控的自定义模型。与创始人交谈 Ragas是一个框架，帮助您评估检索增强生成（RAG）流程。RAG表示一类LLM应用
RAG系统落地实践如何进行评估？一文带你熟悉RAG 应用评估框架 RAGAS
大模型研究中心
02-22 839
现如今随着LLM的发展，RAG demo项目已经可以迅速被产出。但是真正完全落地到生产实践中却没有那么容易。那么，我们该如何判断RAG应用是否已经准备好进入生产阶段呢？本文将为您介绍一个全自动化的 RAG 应用评估框架——RAGAS。
使用 RAGAs 评估 RAG 应用
安静的软件工程师
02-27 2389
使用 RAGAs 评估 RAG 应用
使用RAGAs评估基于Milvus Cloud的RAG应用
实战AI智能体
07-10 1279
现在，我们很容易构建一个基于检索增强生成（RAG）的应用，但将其投入生产却非常困难，因为RAG的性能很难达到令人满意的状态。我们知道RAG中两个重要的组件：检索器：从外部数据库中检索额外的上下文，以供LLM回答查询。生成器：基于使用检索到的信息增强的提示生成答案。在评估RAG时，我们需要分别评估两个组件以及它们的整体性能，以了解RAG是否仍然需要改进，以及需要在哪里改进。此外，为了评估RAG应用程序的性能是否正在改善，我们需要进行定量评估。为此，我们需要两个评估要素：评估指标和评估数据集。
使用Ragas为RAG生成测试集，评估RAG系统在特定文档的表现
2401_88779610的博客
11-19 1014
测试集是用于评估模型性能的数据集，它不参与模型的训练过程，而是用于在模型训练完成后测试其准确性和泛化能力。 这篇文章介绍如何使用Ragas框架创建一个测试集，以便可以评估自己的RAG系统在处理特定文档时的表现。通过使用自己的文档生成测试集，可以确保测试集与RAG具体应用场景紧密相关，从而更准确地评估RAG系统的效果。
RAG知识库的可靠性评估（二）
2401_85375298的博客
06-05 1112
使用了Gagas生成合成测试数据集，在只有知识库文档并没有Ground-truth（真实答案）的情况下让想评估该知识库文档应用到RAG的的效果如何，这时可以用Ragas生成包含**question、context、Ground-truth**（真实答案）的数据集。即可在有Ground-truth（真实答案）的情况下评估RAG。
高级RAG(四)：RAGAs评估
热门推荐
weixin_42608414的博客
01-03 1万+
RAGAs (Retrieval-AugmentedGenerationAssessment) 它是一个框架(github官方文档question：用户输入的问题。answer：从 RAG 系统生成的答案(由LLM给出)。contexts：根据用户的问题从外部知识源检索的上下文即与问题相关的文档。： 人类提供的基于问题的真实(正确)答案。这是唯一的需要人类提供的信息。
RAGAS: 自动化评估检索增强生成
数智笔记
11-04 866
我们介绍了 RAGAS(检索增强生成评估)，这是一个用于无参考评估检索增强生成(RAG)管道的框架。RAG 系统由检索模块和基于 LLM 的生成模块组成，并为 LLM 提供来自参考文本数据库的知识，使其能够充当用户与文本数据库之间的自然语言层，从而降低幻觉的风险。然而，评估 RAG 架构是具有挑战性的，因为需要考虑多个维度:检索系统识别相关和聚焦上下文段落的能力，LLM 以忠实方式利用这些段落的能力，以及生成本身的质量。
基于 RAGAS 的检索增强效果评估实战
2401_85378759的博客
06-04 1713
自定义 LLM 需要导入 ragas 中的 BaseRagasLLM 这个类，然后复写相关的 generate 方法 和 llm 方法。在这里值得注意的是，如果我们采用 API 调用，base_llm 变量实际只是为了复写 llm 方法而添加的，并没有实际意义。如果是传递了模型本身，则 llm 方法会返回这个模型。另外，在 generate 方法中，输入的 prompts 实际上的类型是 langchain 中的，因此我们在获取实际的字符串时需要按照指定的格式进行获取，同时最后返回的结果要包装成。
RAGA-PP代码 python实现
10-13
RAGA-PP是一种用于生成印度古典音乐raga的算法，全称为"Randomized Algoritm for Generation of Atmospheric Patterns in Ragas"。它通常涉及到Python编程，因为Python有许多库如Music21、madmom等可以支持音乐理论和生成工作。 在Python中实现RAGA-PP，你可以按照以下步骤操作： 1. **安装必要的库**：首先需要安装一些音乐处理相关的Python库，例如`music21`用于音乐理论分析，`numpy`用于数组计算，以及`random`用于随机生成。 ```bash pip install music21 numpy random ``` 2. **理解音乐理论**：了解印度古典音乐raga的基本结构和模式，包括旋律音阶、节奏模式等。 3. **定义算法**：设计随机生成raga的函数，这可能包括选择特定的raga类型、生成旋律线、添加装饰音等。 ```python import music21 import numpy as np def generate_raga(pp_sequence): ragas = ... # 获取可用的raga列表 melody = music21.stream.Stream() for pattern in pp_sequence: raga_choice = ragas[np.random.randint(0, len(ragas))] melody.append(music21.melody.Melody(pattern, scale=raga_choice)) return melody.show() # 示例pp_sequence是一个包含音符序列的数据结构 pp_sequence = ... # 根据算法需求填充 generated_raga = generate_raga(pp_sequence) ``` 4. **调整参数和生成实例**：根据需要调整生成过程的随机性和复杂度，然后运行代码生成新的Raga。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数智笔记

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值