MMLU数据集分享

已于 2024-03-07 20:49:30 修改
阅读量1.1k 收藏 8
点赞数 17
分类专栏： 自然语言数据集分享 文章标签： 大模型数据集
于 2024-03-07 20:39:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinizhilianlove/article/details/136545300
版权

来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-2-28

在这里插入图片描述
自然语言处理（NLP）模型在特定基准测试上取得了超人的表现，但整体语言理解能力仍远低于人类水平。现有的基准测试（如GLUE和SuperGLUE）主要评估语言技能，而非全面的语言理解。为了填补模型在预训练期间接触到的广泛知识与现有成功度量之间的差距，作者提出了一个新的基准测试集(MMLU)，旨在评估语言模型的常识推理能力。

该数据集由UC伯克利的研究者开发发表在ICLR 2021会议，共计包含了57个不同的任务，涉及基础数学、美国历史、计算机科学、法律等多个领域。为了在这项测试中取得高分，模型必须具备广泛的世界知识和推理能力。除此之外，俄勒冈大学大学基于该数据集还开发了多语言的MMLU数据集，共计包含26种语言，关于Claude3使用的是其中10中语言。

相关数据集与论文获取，GZ： AINLPer公众号 回复：MMLU数据集

AINLPer
关注
专栏目录
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 8716
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
《深入浅出LLM基础篇》（四）：主流大模型介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 1082
本篇为《深入浅出LLM基础篇》系列第四篇，《深入浅出LLM基础篇》（四）：主流大模型分类介绍主流大模型分类，主要讨论各类模型结构组成、模型特点、数据规模等进行介绍，包括 ChtaGLM、LLAMA等 系列，最后对经典问题进行总结，方便大家交流学习。
大模型新基准MMLU-Pro翻车了~
人工智能曾小健
07-09 1088
到这里，好像一切都还好，突然今天在github上一个issue炸雷了~ 老哥发现，仓库评测脚本，不同使用的采样参数，system prompt，后处理的方式区别都很大。最初的 MMLU 更多的是知识和推理测试，虽然它有数学相关的评测，但其设计原则是无需 CoT 即可完成大部分工作。尽管MMLU-Pro测试可能不是评估模型在特定领域效能的最佳方式，但它仍然比以前的困惑度测试或主观偏好评价要好得多。，这对大多数人来说，进行 12,000 步 CoT 是令人望而却步的，尤其是对于较大的模型。
【LLM 评估】MMLU benchmark：用于衡量 LM 的多任务语言理解能力
VLyb
06-29 1230
一个 benchmark：涉及 57 个 subjects 的多项选择题的数据集，共 15908 个 questions
LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 1万+
​ LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略 目录 MMLU基准的简介 MMLU基准的安装 MMLU基准的使用方法 MMLU基准的简介 2020年9月7日，Dan Hendrycks, Collin Burns, Steven Basart等人提出了一种新的测试方法，用于衡量文本模型的多任务准确性。该测试涵盖了57个任务，包括基本数学、美国历史、计算机科学、法律等多个领域。为了在这个测试中获得高准
【评测】MMLU(大规模多任务语言理解)简介(MMLU-ZS/MMLU-FS)
qq_32874697的博客
03-14 1705
在MMLU基准中，涉及到了两种特定的测试设置，即mmlu-zs（zero-shot）和mmlu-fs（few-shot）。mmlu-zs测试涉及在没有任何训练数据的情况下对模型进行评估，而mmlu-fs测试涉及在有限的训练数据情况下对模型进行评估。MMLU基准的目标是揭示模型在各个任务上的盲点和不足，并推动模型在多任务语言理解方面的进一步改进和发展。mmlu-zs和mmlu-fs测试是MMLU基准中的重要组成部分，用于衡量模型在零样本和少样本学习中的能力。使用MMLU基准对一个预训练的语言模型进行评估。
LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南
丨汀、的博客
05-01 691
LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南
RAG技术全栈进化解析：RAG技术升级、评估度量指标、应用场景、生态总结、落地实践问题解决、垂直场景应用、多模态RAG探索(✨)
最新发布
丨汀、的博客
09-04 943
RAG技术全栈进化解析：RAG技术升级、评估度量指标、应用场景、生态总结、落地实践问题解决、垂直场景应用、多模态RAG探索(✨)
【第77篇】GPT-4技术报告
AI浩
03-17 9015
本技术报告介绍了GPT-4，一种能够处理图像和文本输入并产生文本输出的大型多模态模型。这些模型是一个重要的研究领域，因为它们具有广泛应用的潜力，如对话系统、文本摘要和机器翻译。因此，近年来，它们一直是人们感兴趣和取得进展的主题[1-34]。开发此类模型的主要目标之一是提高它们理解和生成自然语言文本的能力，特别是在更复杂和微妙的场景中。为了测试它在这种情况下的能力，GPT-4在最初为人类设计的各种考试中进行了评估。在这些评估中，它表现得相当好，经常超过绝大多数人类考生。
http https httpclient 请求需要的jar带用例
01-08
commons-codec-1.9.jar commons-logging-1.2.jar fluent-hc-4.5.3.jar httpclient-4.5.3.jar httpclient-cache-4.5.3.jar httpclient-win-4.5.3.jar httpcore-4.4.6.jar httpmime-4.5.3.jar jna-4.1.0.jar jna-platform-4.1.0.jar
使用 Meta Llama 3 构建人工智能的未来
段智华的博客
04-19 468
使用 Meta Llama 3 构建人工智能的未来现在提供 8B 和 70B 预训练和指令调整版本，以支持广泛的应用。
【测试】8bit和4bit量化对模型在MMLU数据集上准确率的影响
Slightwind's Blog
03-24 1860
下面是改变其中某个参数后在 MMLU 数据集上的准确率，可以看出即使是 4bit 对准确率影响都没有很大，首 Token 性能还可以接近原精度，还节省了大量的空间。ms，最后的测试结果还算比较接近官方的结果，以此作为 baseline 和量化后的模型权重对比推理下游任务准确率的损失情况。），4bit 量化包含两种 4bit 的数据类型 FP4 和 NF4，以及。Mistral-7B 是一个很强的 7B 开源模型，在 Mistral。）并直接在原精度（BF16）上进行推理，尝试复现出官方的准确率。
【GPT】中文大语言模型梳理与测评（C-Eval 、AGIEval、MMLU、SuperCLUE）
热门推荐
进一寸有一寸的欢喜
06-27 1万+
中文英文模型，GPT-4性能是当着无愧的王者，但无法使用。`中文评测平台`榜单比较混乱，看个人使用习惯。
【大模型评测】常见的大模型评测数据集
A-Itfuture的博客
01-17 1万+
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
“超越”(MMCU)中文通用大语言模型测试集--国内首个多领域多任务数据集
zenRRan的博客
05-12 1402
来自：甲骨易进NLP群—>加入NLP交流群近期，中文大语言模型蓬勃发展，但却一直没有出现可应用于评测大模型能力的测试。甲骨易AI研究院提出一种衡量中文大模型处理多任务准确度的测试，并在此基础上制作了一套适配测试中文大模型的数据集，并将其命名为“超越”。数据集的测试内容涵盖四大领域：医疗、法律、心理学和教育。通过综合评估模型在多个学科上的知识广度和深度，能够帮助研究者更精准地找出模型的缺陷，并...
大模型如何使用工具？一文速览最新进展
zenRRan的博客
06-07 1944
© 作者｜陈志朋机构｜中国人民大学研究方向｜自然语言处理来自 | RUC AI Box引言：近来，大语言模型飞速发展，在众多领域都取得了优秀的成绩，甚至在某些领域中超越了人类的表现。但是，大语言模型在一些具有挑战性的问题上（如：复杂推理、细粒度知识运用等）都难以取得优异的表现。有研究指出，外部工具的使用可以提升大模型在复杂问题上的表现。本文针对大模型对外部工具的使用，整理了多篇相关工作，旨在与...
【NLP】大模型综述来了！一文带你理清全球AI巨头的大模型进化史
fengdu78的博客
05-17 3434
夕小瑶科技说 原创 作者 | 小戏，Python如果自己是一个大模型的小白，第一眼看到 GPT、PaLm、LLaMA 这些单词的怪异组合会作何感想？假如再往深里入门，又看到 BERT、BART、RoBERTa、ELMo 这些奇奇怪怪的词一个接一个蹦出来，不知道作为小白的自己心里会不会抓狂？哪怕是一个久居 NLP 这个小圈子的老鸟，伴随着大模型这爆炸般的发展速度，可能恍惚一下也会跟不上这追...
MMLU datasets load_from_disk
07-28
您可以使用`datasets`库中的`load_from_disk`函数来从磁盘加载MMLU数据集。以下是一个示例代码： ```python from datasets import load_from_disk # 加载MMLU数据集 mmlu_dataset = load_from_disk('/path/to/mmlu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值