【LLMS评估方法】

评估指令微调的大型语言模型（如聊天机器人）时，使用的一些方法：

1. 模型表现评价：

   • 对于测试集中第一个和最后一个指令，模型的回答是明确正确的。
   • 第二个回答虽不完全正确，但接近。模型回答了“积云（cumulus cloud）”，而参考答案是“积雨云（cumulonimbus cloud）”。虽然两者不同，但值得注意的是，积云可以发展成积雨云，后者能够产生雷暴。

2. 模型评价的复杂性：

   • 相比于之前章节中对分类问题（如垃圾邮件分类）的简单准确率计算，评估指令微调的大型语言模型要复杂得多。
   • 在分类问题中，我们可以通过计算正确分类标签的百分比来评估模型的准确性，但对于这些模型的评估，需要采用更复杂和多样化的方法。

3. 模型评估的方法：

   • 使用短回答和多项选择基准（如MMLU测试），评估模型的知识水平。
   • 通过人类偏好对比，比较不同模型的性能，例如LMSYS聊天机器人竞技场。
   • 使用自动化对话基准，通过另一个大型语言模型（如GPT-4）来评估模型的响应质量。例如，AlpacaEval是一个利用这种方法的工具。