【每天学点AI】人工智能大模型评估标准有哪些？

OpenAI新模型o1号称编程能力8倍杀GPT-4o，MMLU媲美人类专家，MMLU是什么？评估大模型的标准是什么？

相信大家在阅读大模型相关文档的时候经常会看到MMLU，BBH，GSM8K，MATH，HumanEval，MBPP，C-Eval，CMMLU等等这些都是什么？大模型训练完成后，如何客观地评估其效果呢？

当然我们不能依靠主观判断，于是研究者们制定了一系列标准，用于测评大模型在不同数据集上的表现。而这些数据集（ MMLU、C-Eval、GSM8K、MATH、HumanEval、MBPP、BBH 和 CMMLU），正是用于评估大模型性能的重要依据。

当然，它们也也可用于模型训练。

MMLU这个基准包含STEM（科学、技术、工程、数学）、人文学科、社会学科等57个学科领域，难度从初级到高级不等。

<