大模型榜单汇总整理

大型语言模型（LLM）评估榜单提供了对不同模型性能的标准化比较，涵盖了从通用能力到特定领域应用的多个方面。这些榜单专注于评估模型在特定领域的应用能力，有助于开发者了解模型的优势和局限性，推动语言模型的发展和优化。

通用大模型榜单

1.🤗 Open LLM Leaderboard

Hugging Face 旨在展示和比较不同大型语言模型（LLMs）的性能，特别是那些可以公开访问的模型。模型将根据一系列标准进行评估，包括但不限于准确性、效率、可解释性和公平性。
在 6 个关键基准上评估模型，这是一个统一的框架，用于在大量不同的评估任务上测试生成语言模型。

• MMLU-Pro 是 MMLU 数据集的精炼版本。
• GPQA是一个极其困难的知识数据集，其中的问题是由各自领域的领域专家（生物学、物理、化学等博士级别）设计的，外行人很难回答，但对于专家来说（相对）容易回答。
• MuSR 是一个非常有趣的新数据集，由算法生成的长度约为 1K 字的复杂问题组成。
• MATH是从多个来源收集的高中水平竞赛问题的汇编，其格式一致地使用 Latex 表示方程，使用 Asymptote 表示图形。
• IFEval是一个相当有趣的数据集，它测试模型清晰遵循明确指令的能力，例如“包含关键字 x”或“使用格式 y”。
• BBH 是 BigBench数据集中 23 个具有挑战性的任务的子集，这些任务 1) 使用客观指标，2) 很困难，作为语言模型进行测量，最初并未超越人类基线，3)包含足够的样本，具有统计显着性。
  

2.FlagEval

相关介绍paper：FewCLUE: A Chinese Few-shot Learning Evaluation Benchmark
FlagEval由智源研究院将联合多个高校团队打造，是一种采用“能力一任务一指标"三维评测框架的大模型评测平台，旨在提供全面、细致的评测结果。该平台已提供了30多种能力、5种任务和4大类指标，共600多个维度的全面评测࿰