如何评价一个AI系统

构建输入的prompt和golden answer相对比较耗时（可以利用LLM完成设计），往往在完成Golden Answer的设计后很少需要再次设计，因此这个成本的投入是固定的。但是评估方法是每次评估都需要执行的事情，因此建立快速、边界、ROI高的评估方法是相对比较重要的部分。那么评估方法有三种：

• 代码自动化法：这种方法一般都是通过字符串匹配、正则匹配等方式通过代码完成模型反馈和Golden Answer之间的评分。例如检查模型反馈和Golden Answer是不是完全一致，或者是关键字是否出现。这就如同传统软件测试中的预期结果和实际结果的比对，那么在这里也同样适用。代码自动化评分是目前ROI最高的评分方法，但是就目前情况来了能够使用这种评分的AI系统并不多。
• 人工法：人工对比模型输出和Golden Answer后给出评估结果，人工参与相对ROI最低，除非万不得已，否则不建议使用。
• 模型法：模型进行评分应该是目前ROI居中的一种方案，与代码自动化评分相比可适用范围更大，与人工评分相比速度又快又好。但是这一切前提都是建立在一个好的评分prompt基础之上的。

代码自动化法

有一个论文参考文献检查的系统适应大模型实现的，系统可以找出在正文中标注的学术论文参考文献的内容是否真的是对应参考文献内容的引用。我们就可以设计如下的一个和大模型交互的函数，来完成大模型反馈的收集。