《构建和评估高级RAG》: RAG评估要素和方法-CSDN博客

本文链接：https://blog.csdn.net/m0_59164304/article/details/147783781

本文带你了解如下知识：

评估RAG程序的三要素、
RAG评估的详细流程、
LLM评估的方式有哪些、
反馈函数的构成和使用

null

RAG评估要素

RAG 的评估围绕 RAG 的三要素展开：输入、上下文、输出。

形成了三个主要的指标：

问题相关性、
上下文相关性、
事实度（植地性怪怪的，我翻译成事实度，表示结果是否终于上下文和提问）。

null

详细信息参考「数翼」其他文章，这里不做深入。

评估流程

我们提到了 TruLens 的评估流程，今天详细看看。

null TruLens 如何工作

1. 构建 LLM 程序

第一步当然是构建 LLM 应用程序，也是我们要评估的主体。

应用程序可以你问答程序、AI助手等等，你也可以用你任何喜欢的 API。

2. TruLens 连接 LLM 程序

第二步就是将您的 LLM 应用程序连接到 TruLens，同时记录LLM的输入和响应。

前面已经演示过，这个步骤非常简单。

3. 使用反馈函数评估和记录结果

第三步就是通过针对应用程序的提示和响应运行反馈函数并记录结果并评估质量。

为什么需要反馈函数

衡量 LLM 应用的性能是从开发到生产过程中的关键一步。如果没有先在代表性测试集上衡量其准确性，就不会将传统 ML 系统投入生产。

然而与传统机器学习不同的是，基本事实是稀疏的，而且通常完全不可用。

由于没有基本事实来计算我们的 LLM 应用程序的指标，因此可以使用反馈函数来计算 LLM 应用程序的指标。

什么是反馈函数

反馈函数提供了一种在应用程序运行时生成评估的编程方法，可以衡量应用程序在数据上的表现，以及用户的表现。

评估方式

评估可以有多种方式，传统NLP、人工、大模型等等，我们这里使用 LLM。

null 评估的方式

反馈函数的结构

下图展示了反馈函数的结构。

null

反馈提供者

反馈提供者是运行给定反馈功能的后端。每个提供程序都提供多个底层模型，例如 GPT-4 或 Llama-2。在许多情况下（但并非所有情况下），反馈实现是跨提供程序共享的（例如基于 LLM 的评估）。

4. 创建反馈函数

from trulens_eval import OpenAI as fOpenAI

provider = fOpenAI()

问题相关性反馈函数

from trulens_eval import Feedback

f_qa_relevance = Feedback(
    provider.relevance_with_cot_reasons,
    name="Answer Relevance"
).on_input_output()

上下文相关性反馈函数

使用 TruLlama 获取上下文，

from trulens_eval import TruLlama

context_selection = TruLlama.select_source_nodes().node.text

创建上下文相关性评估函数：

import numpy as np

f_qs_relevance = (
    Feedback(provider.qs_relevance,
             name="Context Relevance")
    .on_input()
    .on(context_selection)
    .aggregate(np.mean)
)

事实度反馈函数

from trulens_eval.feedback import Groundedness

grounded = Groundedness(groundedness_provider=provider)

f_groundedness = (
    Feedback(grounded.groundedness_measure_with_cot_reasons,
             name="Groundedness"
            )
    .on(context_selection)
    .on_output()
    .aggregate(grounded.grounded_statements_aggregator)
)

5. 评估应用程序

使用 TruLlama 创建记录器来连接应用程序，传入前面我们创建的三个反馈函数：

f_qa_relevance,
f_qs_relevance,
f_groundedness

from trulens_eval import TruLlama
from trulens_eval import FeedbackMode

tru_recorder = TruLlama(
    sentence_window_engine,
    app_id="App_1",
    feedbacks=[
        f_qa_relevance,
        f_qs_relevance,
        f_groundedness
    ]
)

从文件获取和手动添加要评估的问题，

eval_questions = []
with open('eval_questions.txt', 'r') as file:
    for line in file:
        # Remove newline character and convert to integer
        item = line.strip()
        eval_questions.append(item)
eval_questions.append("How can I be successful in AI?")

使用查询引擎进行提问，同时使用 TruLens 进行记录，

for question in eval_questions:
    with tru_recorder as recording:
        sentence_window_engine.query(question)

获取评估结果：

records, feedback = tru.get_records_and_feedback(app_ids=[])
records.head()

结果的可读性并不好，

null

使用 Pandas 显示一下，

import pandas as pd

pd.set_option("display.max_colwidth", None)
records[["input", "output"] + feedback]

null

查看第一条记录，

tru.get_leaderboard(app_ids=[])

null

或者运行 Dashboard 查看，

tru.run_dashboard()

从下图可以看到，问题相关性挺高，但是其他两个指标不太好。

null

查看 11 条记录的评估数据：

null

点击任意一条记录查看详细结果，可以根据上下文、输入、输出来进行诊断。

null

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述