langchain 官方文档阅读笔记:Evaluate your LLM application
Create a dataset
验证大模型应用的第一步就是定义用于评估的数据集
为了创建一个数据集合,需要思考3个方面:
- 每个数据项的schema应该是什么?
- 应该收集多少数据?
- 我应该如何搜集这些数据?
这三点都有一个核心原则:
Evaluation is an iterative process.
在这个核心原则下,
无法准确定义Input对应的Ouput没有关系
仅10-50个数据也可以提供大量的价值,随时向数据集添加
可以手动获取10-20数据项就开始评估,然后living constructs
如何构建中提到了真实用户数据(real users)和合成数据(synthetically)
Define metrics
对于问答系统来说,通常不期待应用输出精确的gold答案,而是输出similar答案。
所以评估时候可以使用LLM as judge。
此处的提示词可以参考:
_PROMPT_TEMPLATE = """You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:
{query}
Here is the real answer:
{answer}
You are grading the following predicted answer:
{result}
Respond with CORRECT or INCORRECT:
Grade:
"""