86 评估答案和上下文相关性：LlamaIndex 的 AnswerRelevancyEvaluator 和 ContextRelevancyEvaluator

评估答案和上下文相关性：LlamaIndex 的 AnswerRelevancyEvaluator 和 ContextRelevancyEvaluator

在自然语言处理领域，评估生成的答案和检索到的上下文与用户查询的相关性是至关重要的。本文将介绍如何使用 LlamaIndex 的 AnswerRelevancyEvaluator 和 ContextRelevancyEvaluator 类来评估生成的答案和检索到的上下文与给定用户查询的相关性。

安装依赖

首先，我们需要安装必要的依赖包：

%pip install llama-index-llms-openai

设置环境

为了在 Jupyter Notebook 中使用异步操作，我们需要应用 nest_asyncio：

import nest_asyncio
from tqdm.asyncio import tqdm_asyncio

nest_asyncio.apply()

下载数据集

我们将使用 LlamaHub 提供的 llama-dataset 进行演示：

from llama_index.core.llama_dataset import download_llama_dataset
from llama_index.core.llama_pack import download_llama_pack
from llama_index.core import VectorStoreIndex

# 下载并安装基准数据集的依赖
rag_dataset, documents = download_llama_dataset(
    "EvaluatingLlmSurveyPaperDataset", "./data"
)
rag_dataset.to_pandas()[:5]

构建 RAG

接下来，我们使用相同的源文档构建一个 RAG（检索增强生成）：

index = VectorStoreIndex.from_documents(documents=documents)
query_engine = index.as_query_engine()

生成预测

使用 RAG（即 query_engine）对 rag_dataset 进行预测：

prediction_dataset = await rag_dataset.amake_predictions_with(
    predictor=query_engine, batch_size=100, show_progress=True
)

定义评估器

我们需要定义 AnswerRelevancyEvaluator 和 ContextRelevancyEvaluator：

from llama_index.llms.openai import OpenAI
from llama_index.core.evaluation import (
    AnswerRelevancyEvaluator,
    ContextRelevancyEvaluator,
)

judges = {}

judges["answer_relevancy"] = AnswerRelevancyEvaluator(
    llm=OpenAI(temperature=0, model="gpt-3.5-turbo"),
)

judges["context_relevancy"] = ContextRelevancyEvaluator(
    llm=OpenAI(temperature=0, model="gpt-4"),
)

进行评估

使用评估器对所有 <example, prediction> 对进行评估：

eval_tasks = []
for example, prediction in zip(
    rag_dataset.examples, prediction_dataset.predictions
):
    eval_tasks.append(
        judges["answer_relevancy"].aevaluate(
            query=example.query,
            response=prediction.response,
            sleep_time_in_seconds=1.0,
        )
    )
    eval_tasks.append(
        judges["context_relevancy"].aevaluate(
            query=example.query,
            contexts=prediction.contexts,
            sleep_time_in_seconds=1.0,
        )
    )

eval_results1 = await tqdm_asyncio.gather(*eval_tasks[:250])
eval_results2 = await tqdm_asyncio.gather(*eval_tasks[250:])
eval_results = eval_results1 + eval_results2

evals = {
    "answer_relevancy": eval_results[::2],
    "context_relevancy": eval_results[1::2],
}

查看评估结果

使用实用函数将 EvaluationResult 对象转换为更适合 Notebook 显示的格式：

from llama_index.core.evaluation.notebook_utils import get_eval_results_df
import pandas as pd

deep_dfs = {}
mean_dfs = {}
for metric in evals.keys():
    deep_df, mean_df = get_eval_results_df(
        names=["baseline"] * len(evals[metric]),
        results_arr=evals[metric],
        metric=metric,
    )
    deep_dfs[metric] = deep_df
    mean_dfs[metric] = mean_df

mean_scores_df = pd.concat(
    [mdf.reset_index() for _, mdf in mean_dfs.items()],
    axis=0,
    ignore_index=True,
)
mean_scores_df = mean_scores_df.set_index("index")
mean_scores_df.index = mean_scores_df.index.set_names(["metrics"])
mean_scores_df

分析评估结果

我们可以查看评估结果的分布情况：

deep_dfs["answer_relevancy"]["scores"].value_counts()
deep_dfs["context_relevancy"]["scores"].value_counts()

结论

通过 LlamaIndex 的 AnswerRelevancyEvaluator 和 ContextRelevancyEvaluator，我们可以有效地评估生成的答案和检索到的上下文与用户查询的相关性。这不仅有助于确保系统的准确性和效率，还能提升用户体验和系统的整体性能。希望本文能帮助你更好地理解和应用这些评估工具。如果你有任何问题或需要进一步的帮助，请随时联系我们。祝你在自然语言处理的道路上取得成功！