本文是LLM系列文章,针对《LLMEval: A Preliminary Study on How to Evaluate Large Language Models》的翻译。
摘要
近年来,大型语言模型的评价已成为一个热门的研究领域。LLM评估的三个关键问题是“评估什么、在哪里以及如何评估”。然而,现有的研究主要集中在前两个问题上,基本上是在测试过程中给LLM什么任务,以及它应该处理什么样的知识。至于第三个问题,即使用什么标准、评估者的类型、如何评分和如何排名,还没有太多讨论。在本文中,我们通过比较手动和自动评估的各种标准,利用现场、众包、公共注释器和GPT4,以及不同的评分方法和排名系统,分析了评估方法。我们提出了一个新的数据集LLMEval,并对20个LLM进行了评估。共有2186人参与,生成了243337个手动注释和57511个自动评估结果。我们对不同的环境进行了比较和分析,得出了10个结论,这些结论可以为未来评估LLM提供一些见解。数据集和结果在https://github.com/llmeval上可用.