MMLU数据集分享

已于 2024-03-07 20:49:30 修改
阅读量1.3k 收藏 8
点赞数 17
分类专栏： 自然语言数据集分享 文章标签： 大模型数据集
于 2024-03-07 20:39:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinizhilianlove/article/details/136545300
版权

来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-2-28

在这里插入图片描述
自然语言处理（NLP）模型在特定基准测试上取得了超人的表现，但整体语言理解能力仍远低于人类水平。现有的基准测试（如GLUE和SuperGLUE）主要评估语言技能，而非全面的语言理解。为了填补模型在预训练期间接触到的广泛知识与现有成功度量之间的差距，作者提出了一个新的基准测试集(MMLU)，旨在评估语言模型的常识推理能力。

该数据集由UC伯克利的研究者开发发表在ICLR 2021会议，共计包含了57个不同的任务，涉及基础数学、美国历史、计算机科学、法律等多个领域。为了在这项测试中取得高分，模型必须具备广泛的世界知识和推理能力。除此之外，俄勒冈大学大学基于该数据集还开发了多语言的MMLU数据集，共计包含26种语言，关于Claude3使用的是其中10中语言。

相关数据集与论文获取，GZ： AINLPer公众号 回复：MMLU数据集

大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 8975
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
《深入浅出LLM基础篇》（四）：主流大模型介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 1296
本篇为《深入浅出LLM基础篇》系列第四篇，《深入浅出LLM基础篇》（四）：主流大模型分类介绍主流大模型分类，主要讨论各类模型结构组成、模型特点、数据规模等进行介绍，包括 ChtaGLM、LLAMA等 系列，最后对经典问题进行总结，方便大家交流学习。
MMLU-Pro 基准测试数据集上线，含 12k 个跨学科复杂问题，难度提升，更具挑战性！DeepSeek 数学模型一键部署
最新发布
HyperAI超神经
09-14 1054
Weekly Highlights!
LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 1万+
​ LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略 目录 MMLU基准的简介 MMLU基准的安装 MMLU基准的使用方法 MMLU基准的简介 2020年9月7日，Dan Hendrycks, Collin Burns, Steven Basart等人提出了一种新的测试方法，用于衡量文本模型的多任务准确性。该测试涵盖了57个任务，包括基本数学、美国历史、计算机科学、法律等多个领域。为了在这个测试中获得高准
【评测】MMLU(大规模多任务语言理解)简介(MMLU-ZS/MMLU-FS)
qq_32874697的博客
03-14 2065
在MMLU基准中，涉及到了两种特定的测试设置，即mmlu-zs（zero-shot）和mmlu-fs（few-shot）。mmlu-zs测试涉及在没有任何训练数据的情况下对模型进行评估，而mmlu-fs测试涉及在有限的训练数据情况下对模型进行评估。MMLU基准的目标是揭示模型在各个任务上的盲点和不足，并推动模型在多任务语言理解方面的进一步改进和发展。mmlu-zs和mmlu-fs测试是MMLU基准中的重要组成部分，用于衡量模型在零样本和少样本学习中的能力。使用MMLU基准对一个预训练的语言模型进行评估。
【LLM 评估】MMLU benchmark：用于衡量 LM 的多任务语言理解能力
VLyb
06-29 1516
一个 benchmark：涉及 57 个 subjects 的多项选择题的数据集，共 15908 个 questions
【测试】8bit和4bit量化对模型在MMLU数据集上准确率的影响
Slightwind's Blog
03-24 2069
下面是改变其中某个参数后在 MMLU 数据集上的准确率，可以看出即使是 4bit 对准确率影响都没有很大，首 Token 性能还可以接近原精度，还节省了大量的空间。ms，最后的测试结果还算比较接近官方的结果，以此作为 baseline 和量化后的模型权重对比推理下游任务准确率的损失情况。），4bit 量化包含两种 4bit 的数据类型 FP4 和 NF4，以及。Mistral-7B 是一个很强的 7B 开源模型，在 Mistral。）并直接在原精度（BF16）上进行推理，尝试复现出官方的准确率。
Microsoft的PromptBench可以做啥？
mashutian的博客
02-22 1829
1. 快速模型性能评估：可以快速构建模型、加载数据集和评估模型性能。2. 快速工程：多种快速工程方法，例如：Few-shot Chain-of-Thought、情绪提示、专家提示等。3. 评估对抗性提示：集成了提示攻击，使研究人员能够模拟对模型的黑盒对抗性提示攻击并评估其鲁棒性。4. 动态评估：以减轻潜在的测试数据污染：集成了动态评估框架 DyVal ，动态生成具有受控复杂性的评估样本。
LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南
丨汀、的博客
05-01 856
LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南
http https httpclient 请求需要的jar带用例
01-08
commons-codec-1.9.jar commons-logging-1.2.jar fluent-hc-4.5.3.jar httpclient-4.5.3.jar httpclient-cache-4.5.3.jar httpclient-win-4.5.3.jar httpcore-4.4.6.jar httpmime-4.5.3.jar jna-4.1.0.jar jna-platform-4.1.0.jar
RAG技术全栈进化解析：RAG技术升级、评估度量指标、应用场景、生态总结、落地实践问题解决、垂直场景应用、多模态RAG探索(✨)
丨汀、的博客
09-04 1041
RAG技术全栈进化解析：RAG技术升级、评估度量指标、应用场景、生态总结、落地实践问题解决、垂直场景应用、多模态RAG探索(✨)
【第77篇】GPT-4技术报告
AI浩
03-17 9045
本技术报告介绍了GPT-4，一种能够处理图像和文本输入并产生文本输出的大型多模态模型。这些模型是一个重要的研究领域，因为它们具有广泛应用的潜力，如对话系统、文本摘要和机器翻译。因此，近年来，它们一直是人们感兴趣和取得进展的主题[1-34]。开发此类模型的主要目标之一是提高它们理解和生成自然语言文本的能力，特别是在更复杂和微妙的场景中。为了测试它在这种情况下的能力，GPT-4在最初为人类设计的各种考试中进行了评估。在这些评估中，它表现得相当好，经常超过绝大多数人类考生。
【GPT】中文大语言模型梳理与测评（C-Eval 、AGIEval、MMLU、SuperCLUE）
热门推荐
进一寸有一寸的欢喜
06-27 1万+
中文英文模型，GPT-4性能是当着无愧的王者，但无法使用。`中文评测平台`榜单比较混乱，看个人使用习惯。
【大模型评测】常见的大模型评测数据集
A-Itfuture的博客
01-17 1万+
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
OpenCompass使用MMLU数据集评测大模型
fengyanziup的博客
08-05 662
大模型测评工具OpenCompass
什么是衡量大语言模型能力的 MMLU 参数指标
汪子熙的专家技术分享
01-07 2181
MMLU 的计算方法涉及多语言任务的性能评估，通常包括文本分类、命名实体识别、语言模型等多个领域。为了计算 MMLU，首先需要在各个任务上评估模型的性能，并获得相应的准确率、召回率、F1 分数等指标。最后，将所有语言的均值进行加权平均，以得到全局的 MMLU。MMLU 的概念是在评估大型语言模型（如 GPT）在多语言环境中的表现时引入的，旨在更全面地考察模型对不同语言的理解能力。MMLU 的引入有助于更全面地评估语言模型在多语境下的性能，避免仅仅关注主流语言而对其他语言的性能置之不理。
“超越”(MMCU)中文通用大语言模型测试集--国内首个多领域多任务数据集
zenRRan的博客
05-12 1475
来自：甲骨易进NLP群—>加入NLP交流群近期，中文大语言模型蓬勃发展，但却一直没有出现可应用于评测大模型能力的测试。甲骨易AI研究院提出一种衡量中文大模型处理多任务准确度的测试，并在此基础上制作了一套适配测试中文大模型的数据集，并将其命名为“超越”。数据集的测试内容涵盖四大领域：医疗、法律、心理学和教育。通过综合评估模型在多个学科上的知识广度和深度，能够帮助研究者更精准地找出模型的缺陷，并...
大模型如何使用工具？一文速览最新进展
zenRRan的博客
06-07 2025
© 作者｜陈志朋机构｜中国人民大学研究方向｜自然语言处理来自 | RUC AI Box引言：近来，大语言模型飞速发展，在众多领域都取得了优秀的成绩，甚至在某些领域中超越了人类的表现。但是，大语言模型在一些具有挑战性的问题上（如：复杂推理、细粒度知识运用等）都难以取得优异的表现。有研究指出，外部工具的使用可以提升大模型在复杂问题上的表现。本文针对大模型对外部工具的使用，整理了多篇相关工作，旨在与...
MMLU datasets load_from_disk
07-28
您可以使用`datasets`库中的`load_from_disk`函数来从磁盘加载MMLU数据集。以下是一个示例代码： ```python from datasets import load_from_disk # 加载MMLU数据集 mmlu_dataset = load_from_disk('/path/to/mmlu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值