UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models

本文是LLM系列文章，针对《UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models》的翻译。

摘要

大型语言模型（LLM）可能会生成与人类知识不一致的文本，导致事实不准确或产生幻觉。现有的评估LLM真实性的研究包括使用LLM提取事实声明，并根据预定义的事实来源进行验证。然而，这些评估指标是特定于任务的，并且不可扩展，并且事实来源在不同任务中的可替代性还没有得到充分的探索。为了应对这些挑战，我们对四个可用的事实来源进行了分类：人类书面证据、参考文档、搜索引擎结果和LLM知识，以及包含六个代表性数据集的五个文本生成任务。然后，我们提出了UFO，这是一个基于LLM的统一灵活的评估框架，用于根据即插即用的事实来源验证事实。基于该框架，我们实现了五种评估场景。实验结果表明，对于大多数QA任务，人工书面证据和参考文档是至关重要的，它们可以在检索增强的QA任务中相互替代。在新闻事实生成任务中，搜索引擎结果和LLM知识是必不可少的。我们的数据集和代码在https://github.com/WaldenRUC/UFO可用.

1 引言