LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解

LLM 大模型学习必知必会系列(十一)：大模型自动评估理论和实战以及大模型评估框架详解

0.前言

大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。

模型的自动评测技术可以分为rule-based和model-based两大类：

• rule-based方法：

  • benchmark以客观题为主，例如多选题，被测的LLM通过理解context/question，来指定最佳答案

  • 解析LLM的response，与标准答案做对比

  • 计算metric（accuracy、rouge、bleu等）

• model-based方法：

  • 裁判员模型（e.g. GPT-4、Claude、Expert Models/Reward models）

  • LLM Peer-examination