【LLM 评估】MMLU benchmark：用于衡量 LM 的多任务语言理解能力

最新推荐文章于 2025-03-08 22:05:44 发布
最新推荐文章于 2025-03-08 22:05:44 发布
阅读量3.4k 收藏 13
点赞数 11
分类专栏： LLM Research 文章标签： 人工智能 语言模型 自然语言处理 LLM 评估
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45668004/article/details/140065791
版权

论文：Measuring Massive Multitask Language Understanding

⭐⭐⭐⭐

ICLR 2021, arXiv:2009.03300

Code: GitHub

论文速读

本文提出了一个 benchmark：MMLU，一个覆盖了 57 个 subjects 的多项选择题的数据集。

数据集的 question 数量：一共有 15908 个 questions，并被分为 dev、val、test 三个 split set：

  • dev set：用于做 few-shots，每个 subject 有 5 个 questions
  • val set：用于选择 hyper-parameters，由 1540 个 questions
  • test set：包含 14079 个 questions，每个 subject 至少包含 100 个 test examples

数据集设计的 subjects：包含 57 个 subjects，涉及到 STEM、人文、社科等问题

  • 人文：人文学科是一组运用定性分析和分析方法而不是科学实证方法的学科。包括法律、哲学、历史、道德等。
  • 社科：社科包括研究人类行为和社会的分支。包括经济学、社会学、政治学、地理学、心理学等。
  • STEM：包括 Scie
最低0.47元/天 解锁文章
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 9802
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
LLMs：LLMs大语言模型评估的简介(两标+六性+九维，大模型排行榜多种)，两类基准—通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【Super
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-30 4937
​ LLMs：LLMs大语言模型评估的简介(两标(NLUGR指标/REBT)+六性(理解性+生成性+多样性+泛化性+能耗性+可解释性)+九维(2大能力域【理解/生成】+3性【丰富性/多样性/适应性】+4大子任务【逻辑推理/问题解决/对和聊天/情感分析】)，大模型排行榜多种)，两类基准——通用任务的基准(单任务【BLEU/ROUGE-MT-Bench/Chatbot Arena】、多任务【SuperGLUE/MMLU/BIG-bench/HELM/AGIEval/C-EVAL/Xiezhi】、基于工具【API
Qwen2.5系列——大模型测评常用benchmark对应原始论文介绍（一）——通用任务
m0_60388871的博客
11-26 1990
数据构建覆盖“Goldilocks Zone”，即生成的文本对人类来说荒谬但模型难以辨别。： 使用生成器（如GPT）和过滤器（如BERT）生成难以区分的错误选项。： 文本更长（平均41 tokens），增加推理的复杂性。： 涉及视频动作描述、任务步骤解析等多种情景。
大模型能力评测实战指南：基于MMLU数据集的DeepSeek API全维度测试方法
qq_44493093的博客
03-06 1689
本文完整公开了一套开源的自动化测试解决方案，专为评估大语言模型API性能而设计。通过MMLU（Massive Multitask Language Understanding）专业测评数据集，开发者可以：工具亮点特性 ✅ 多维度指标实时监控（准确率/耗时/Token经济性） ✅ 智能失败重试与错误隔离机制 ✅ 自动生成可视化测试报告 ✅ 灵活支持主流API接口配置 ✅ 开源可扩展的模块化架构应用场景示例本方案已集成对DeepSeek系列模型的专项测试模块，同时兼容OpenAI、Claude等主流API架构。
LlamaFactory Eval过程解析、在mmlu任务上评估
最新发布
Yummy_ta的博客
03-08 538
LlamaFactory Eval过程解析、在mmlu任务上评估
MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）
百态老人的博客
01-27 1881
MMLU是一个重要的基准测试工具，能够全面评估大型语言模型在多学科知识和复杂任务中的表现。它不仅推动了人工智能领域的研究进展，还为教育、翻译和其他实际应用提供了有价值的参考。然而，由于其评估方法和数据集的局限性，未来仍需进一步优化和完善。MMLU（大规模多任务语言理解）基准测试覆盖了57个主题，这些主题涵盖了多个领域。数学：包括基础数学、高等数学等。历史：包括世界历史、美国历史等。科学：包括物理、化学、生物、地球科学等。人文：包括文学、艺术、哲学等。社会科学：包括政治、经济、社会学等。法律。
MEASURING MASSIVE MULTITASKLANGUAGE UNDERSTANDING——测量大规模多任务语言理解
Together_CZ的博客
01-21 1859
MEASURING MASSIVE MULTITASK LANGUAGE UNDERSTANDING——测量大规模多任务语言理解
【LLM评估篇】Ceval | GAIA | MMLU benchmarks
发现问题，并解决问题，批判性思维
08-20 5146
- 一些大模型的评估模型： - 多轮：MTBench - 关注评估：agent bench - 长文本评估：longbench，longeval - 工具调用评估：toolbench - 安全评估：cvalue，safetyprompt等 本文还介绍了其他主流的大模型评估指标等及其使用
【评测】MMLU(大规模多任务语言理解)简介(MMLU-ZS/MMLU-FS)
qq_32874697的博客
03-14 3259
在MMLU基准中，涉及到了两种特定的测试设置，即mmlu-zs（zero-shot）和mmlu-fs（few-shot）。mmlu-zs测试涉及在没有任何训练数据的情况下对模型进行评估，而mmlu-fs测试涉及在有限的训练数据情况下对模型进行评估。MMLU基准的目标是揭示模型在各个任务上的盲点和不足，并推动模型在多任务语言理解方面的进一步改进和发展。mmlu-zs和mmlu-fs测试是MMLU基准中的重要组成部分，用于衡量模型在零样本和少样本学习中的能力。使用MMLU基准对一个预训练的语言模型进行评估。
探索多任务语言理解的极限：Measuring Massive Multitask Language Understanding 项目推荐
gitblog_00798的博客
08-18 324
探索多任务语言理解的极限：Measuring Massive Multitask Language Understanding 项目推荐 项目地址:https://gitcode.com/gh_mirrors/te/test 在人工智能领域，多任务学习一直是研究的热点。今天，我们将介绍一个开源项目——Measuring Massive Multitask Language Understandin...
LLM 评估汇总：真的吊打 LLaMA-3，媲美 GPT-4 吗？
python122_的博客
06-18 1067
如下图所示为阿里的通义千问 Qwen1.5 介绍 | Qwen 中的官方评估结果，其并没有具体介绍 GSM8K 是 5-shot 还是 8-shot（不过从其开源的评估工具可以看出是 8-shot+CoT 的结果，具体可以参考 https://github.com/QwenLM/Qwen/blob/main/eval/gsm8k_prompt.txt），但是对应的结果中 GPT-4 的 92.0 为 5-shot+CoT 结果，Mixtral-8x7B 的 74.4 确实为 8-shot+CoT 结果。
开放医学LLM排行榜：对医疗保健领域的大型语言模型进行基准测试LLM Medical Benchmark
强化学习曾小健
07-08 1298
它是医学模型、数据集、基准和跟踪会议截止日期的中心枢纽，促进了人工智能辅助医疗保健领域的合作、创新和进步。此外，随着电子健康记录 (EHR)、医学文献和患者生成的数据的指数级增长，LLM 可以帮助医疗保健专业人员提取有价值的见解并做出明智的决策。它不促进这些模型的分发、部署或临床使用。评估完成后，您的模型的得分将添加到排行榜中，以便您将其表现与其他提交的模型进行比较。如果您对人工智能与医疗保健的交叉点充满热情，对为医疗保健领域构建模型充满热情，并且关心医学法学硕士的安全和幻觉问题，我们邀请您加入我们。
语言模型评估的标准：OLMES
步子哥的博客
06-13 954
使用测试集（如果可用），否则使用验证集。如果超过 1500 个实例，则对 1000 个实例进行采样。使用指定的精确提示格式（第 3.1 节）使用固定的、整理好的 5 样本示例（第 3.2 节）对 CF 使用规定的概率归一化（第 3.3 节）使用 MCF 和 CF 进行评估，使用最佳结果（第 3.4 节）遵循所有其他评估细节的建议（附录 A）表 4 报告了不同模型在流行的基准任务上的得分，这些得分遵循我们的评估标准 OLMES。
LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略
热门推荐
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 1万+
​ LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略 目录 MMLU基准的简介 MMLU基准的安装 MMLU基准的使用方法 MMLU基准的简介 2020年9月7日，Dan Hendrycks, Collin Burns, Steven Basart等人提出了一种新的测试方法，用于衡量文本模型的多任务准确性。该测试涵盖了57个任务，包括基本数学、美国历史、计算机科学、法律等多个领域。为了在这个测试中获得高准
LLMs Benchmarks基准测试 GLUE,Super GLUE, MMLU, BIG-bench, HELM
AI架构师易筋
08-27 1788
正如你在上一个视频中所看到的，大型语言模型（LLMs）是复杂的，而像Rouge和BLEU分数这样的简单评估指标只能告诉你关于模型能力的一些信息。为了更全面地衡量和比较LLMs，你可以利用预先存在的数据集和相关基准，这些基准是由LLM研究人员专门为此目的而建立的。选择正确的评估数据集至关重要，这样你才能准确评估LLM的性能并了解其真正的能力。你会发现，选择隔离特定模型技能的数据集非常有用，例如推理或常识知识，以及关注潜在风险的数据集，如虚假信息或版权侵权。
谷歌发布号称超过GPT-4V的大模型Gemini：4个版本，最大的Gemini的MMLU得分90.04，首次超过90的大模型
DataLearnerAI
12-07 1508
这部分和OpenAI一样，没有过多的细节，只知道这个模型是Decoder-only的transformer模型，但是针对谷歌的TPU和大规模训练做了优化。这是一系列的多模态的大模型，在各项评分中超过了GPT-4V，可能是目前最强的模型。Gemini-Pro是比Ultra小一点版本的模型，也没有公布参数，据猜测在1000亿以上，在自然语言理解、可视化、分析等方面工作能力较强；Gemini分为三个版本，最大的是Gemini-Ultra，然后是Gemini-Pro，最小的是Gemini-Nano；
MMLU数据集分享
yinizhilianlove的博客
03-07 1697
MMLU数据集
OpenCompass使用MMLU数据集评测大模型
fengyanziup的博客
08-05 1271
大模型测评工具OpenCompass
llama benchmark mmlu
01-11
### Llama模型在MMLU基准测试上的表现 Llama模型展示了强大的多选题解答能力，在多个基准测试中表现出色，尤其是在MMLU (Multi-choice Multi-hop Logical Reasoning Understanding) 基准测试上[^3]。此基准涵盖了广泛的学科领域，包括科学、社会科学、艺术和人文等。 研究表明，当采用zero-shot设置时，即不使用额外训练样本的情况下，Llama能够在多种任务上取得令人印象深刻的成绩。然而，随着微调过程的应用——特别是通过加入人类反馈并针对模型难以处理的具体案例进行优化——其性能得到了进一步提升[^4]。这意味着即使是在未见过的数据集上，经过适当调整后的Llama也能展现出更高的准确性和可靠性。 对于像MMLU这样复杂的推理理解类评测标准而言，拥有强大基础架构支持的Llama展现出了显著优势。它不仅能够快速适应新环境下的挑战，而且还能持续改进自身的表现，从而证明了该模型具备优秀的泛化能力和学习效率[^5]。 ```python # 示例代码用于展示如何加载预训练好的Llama模型并对MMLU数据集进行预测 from transformers import AutoModelForSequenceClassification, AutoTokenizer model_name = "facebook/llama" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) def predict_mmlu_question(question_text): inputs = tokenizer(question_text, return_tensors="pt") outputs = model(**inputs) logits = outputs.logits predicted_class_id = logits.argmax().item() return model.config.id2label[predicted_class_id] sample_question = "What is the capital city of France?" print(predict_mmlu_question(sample_question)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值