CheckEval: Robust Evaluation Framework using Large Language Model via Checklist

本文是LLM系列文章，针对《CheckEval: Robust Evaluation Framework using Large Language
Model via Checklist》的翻译。

摘要

我们介绍了CheckEval，这是一种使用大型语言模型的新评估框架，解决了当前评估方法中歧义和不一致的挑战。CheckEval通过将评估标准划分为详细的子问题，并为每个问题构建布尔问题清单，简化评估，来解决这些挑战。这种方法不仅使过程更具可解释性，而且通过关注特定的评估维度，显著提高了结果的稳健性和可靠性。通过使用SummEval基准的重点案例研究验证，CheckEval表明与人类判断有很强的相关性。此外，它还展示了一个高度一致的注释者间协议。这些发现突出了CheckEval在客观、灵活和精确评估方面的有效性。CheckEval通过提供可定制和交互式的框架，为LLM在评估中的使用设定了一个新的标准，以应对该领域不断发展的需求，并为未来基于LLM的评估建立了一个明确的方法。

1 引言

2 相关工作

3 CHECKEVAL的设计

4 案例分析

5 未来工作