81 LlamaIndex 检索评估使用指南

LlamaIndex 检索评估使用指南

在大型语言模型（LLM）的应用开发中，检索系统的性能评估是至关重要的一环。LlamaIndex 提供了强大的工具来评估检索器的性能，帮助开发者了解和优化检索系统的准确性和效率。本文将详细介绍如何使用 LlamaIndex 进行检索评估。

使用 RetrieverEvaluator

RetrieverEvaluator 用于对单个查询和给定的真实文档集进行评估。标准的做法是使用 from_metrics 方法指定一组有效的评估指标。

from llama_index.core.evaluation import RetrieverEvaluator

# 定义检索器（例如从索引中获取）
# retriever = index.as_retriever(similarity_top_k=2)
retriever = ...

retriever_evaluator = RetrieverEvaluator.from_metric_names(
    ["mrr", "hit_rate"], retriever=retriever
)

retriever_evaluator.evaluate(
    query="query", expected_ids=["node_id1", "node_id2"]
)

构建评估数据集

你可以手动策划一个包含问题和节点 ID 的检索评估数据集。我们还提供了在现有文本语料库上生成合成数据集的功能：

from llama_index.core.evaluation import generate_question_context_pairs

qa_dataset = generate_question_context_pairs(
    nodes, llm=llm, num_questions_per_chunk=2
)

返回的结果是一个 EmbeddingQAFinetuneDataset 对象（包含查询、相关文档和语料库）。

将数据集插入 RetrieverEvaluator

我们提供了一个便捷函数，用于在批量模式下对数据集运行 RetrieverEvaluator。

eval_results = await retriever_evaluator.aevaluate_dataset(qa_dataset)

这应该比单独对每个查询调用 .evaluate 要快得多。

总结

通过 LlamaIndex 的 RetrieverEvaluator，开发者可以轻松地对检索器进行评估，了解其在不同查询下的表现。结合合成数据集的生成，可以更全面地测试检索系统的性能。希望本文能帮助你更好地理解和应用 LlamaIndex 的检索评估功能。如果你有任何问题或需要进一步的帮助，请随时联系我们。祝你在 LLM 开发的道路上取得成功！