Instruction-Following Evaluation for Large Language Models

本文是LLM系列文章，针对《Instruction-Following Evaluation for Large Language Models》的翻译。

摘要

大型语言模型（LLM）的一个核心功能是遵循自然语言指令。然而，对这些能力的评估并不是标准化的：人类评估是昂贵的、缓慢的，并且不能客观地再现，而基于LLM的自动评估可能会受到评估者LLM能力的偏见或限制。为了克服这些问题，我们为大型语言模型引入了Instruction Following Eval（IFEval）。IFEval是一个简单易用的评估基准。它专注于一组“可验证的指令”，如“写400多个单词”和“至少3次提到人工智能的关键词”。我们确定了25种可验证指令，并构建了大约500个提示，每个提示包含一个或多个可验证指令。我们展示了市场上两种广泛可用的LLM的评估结果。我们的代码和数据可以在https://github.com/google-research/google-research/tree/master/instruction_following_eval上找到。

1 引言

2 可验证指令

<