大模型评测数据集-MMCU

已于 2024-04-25 23:08:21 修改
阅读量294 收藏
点赞数 1
分类专栏： LLM 文章标签： 人工智能 nlp
于 2024-04-25 22:59:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20245089/article/details/138201821
版权

2023年5月15日，甲骨易AI研究院推出首个中文的大模型评测数据集——“超越”（Massive Multitask Chinese Understanding，简称MMCU），填补了中文大语言模型能力测试缺失的一大空白。

下载地址：​​​​​​​https://huggingface.co/datasets/Besteasy/MMCU

数据集说明：

数据集旨在衡量中文大模型在处理众多任务上的准确度，主要覆盖覆盖医疗、法律、心理学和教育四大领域，题目形式涵盖单项选择和多项的选择题，共包含11900个问题。其中教育中涉及语、数、化学、物理、政治、生物、历史、地理等多种学科，为的是考核大模型的基础认知；法律、医疗、心理学等专业领域为的是考核大模型对多领域知识广度及深度。

王xm0323
关注
专栏目录
详解大模型微调数据集构建方法(持续更新)
herosunly的博客
06-05 13万+
本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 8818
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
国内首个大模型评测数据集（MMCU）问世加速完善国产AI产业图谱
weixin_63444872的博客
05-23 557
众所周知，人工智能技术在飞速演进。大模型仍有许多难关亟待解决，借助超越MMCU评测数据集，一举打破市面上所有的大语言模型只能基于英文数据集去进行测试的现状，中文大语言模型将有望构建起一个完善的评测的体系，通过发现提升大语言的缺陷提升大语言模型对于中文的理解能力，更好地服务于全球的中文用户。沙龙上，中国科学院大学网络数据重点实验室的咸宁先生则针对MMCU测试集的使用情况进行分享，解释了测试数据集的分析原理，对几大模型的测试成果进行了展示与客观分析，并指出了超越MMCU测试数据集当下尚存在一些亟待解决的问题。
“超越”(MMCU)中文通用大语言模型测试集--国内首个多领域多任务数据集
zenRRan的博客
05-12 1423
来自：甲骨易进NLP群—>加入NLP交流群近期，中文大语言模型蓬勃发展，但却一直没有出现可应用于评测大模型能力的测试。甲骨易AI研究院提出一种衡量中文大模型处理多任务准确度的测试，并在此基础上制作了一套适配测试中文大模型的数据集，并将其命名为“超越”。数据集的测试内容涵盖四大领域：医疗、法律、心理学和教育。通过综合评估模型在多个学科上的知识广度和深度，能够帮助研究者更精准地找出模型的缺陷，并...
【GPT】中文大语言模型梳理与测评（C-Eval 、AGIEval、MMLU、SuperCLUE）
热门推荐
进一寸有一寸的欢喜
06-27 1万+
中文英文模型，GPT-4性能是当着无愧的王者，但无法使用。`中文评测平台`榜单比较混乱，看个人使用习惯。
大模型系列：C-Eval中文大模型评测数据集介绍和实践
2401_85325397的博客
05-30 2719
C-Eval整体结构概述C-Eval数据预览C-Eval的Prompt范式Python脚本实现C-Eval评估ChatGLM2-6B在前文《大模型系列：LLM-Eval大模型评测理论简述》中介绍了大模型需要评测的内容，包括NLP任务知识和逻辑推理安全性对齐性等多个角度，C-Eval数据集主要用于评测大模型的知识和逻辑推理能力，即大模型是否能够认识和理解广泛的世界知识，并类似人类一样对事物进行推理规划。
将入学考试题搬进中文大模型数据集，20477道题目，还带4个候选答案
zandaoguang的博客
05-24 200
视学算法专栏视学算法编辑部本文提出了M3KE基准数据集，以零样本、少样本形式测试中文大模型对于多级多学科知识的掌握能力。随着中文大规模语言模型在自然语言理解与自然语言生成方面展现出强大的性能，现有针对特定自然语言处理任务的中文评测基准数据集已经不足以对中文大模型进行有效地评估。传统的中文评测基准主要关注模型对于简单常识（如雨天出门需要带伞）和表层语义（如篮球比赛的报道是体育类还是科技类新闻）的...
170亿参数，28项公开测试集SOTA，行业最大的视觉多任务统一大模型来了
PaddlePaddle
06-08 1063
百度发布行业最大视觉多任务文心VIMER-UFO 2.0大模型，模型参数量达到170亿，单模型28项公开数据集SOTA，基于飞桨Task MoE架构，根据任务的不同自动选择激活最优的区域，从而实现100倍参数压缩，同时支持下游任务快速扩展。...
“超越”(MMCU)中文通用大语言模型测试集预发布
weixin_63444872的博客
05-12 472
测试的结果表明，更大的模型参数量不一定带来更好的性能，而训练方式和所用数据质量也是至关重要的，需要得到更多的重视。“超越”的意义是希望中文大语言模型“超”出多数模型只能基于英文数据集测试的现状，通过发现大模型的缺陷，从而促进大模型理解中文语言的能力，使其“越”来越强大。综上，就目前而言，用于评测大模型的高质量中文数据集仍是稀缺资源，但行业内却亟需一种公开、科学的方式来测试大模型的能力。接下来，将对“超越”数据集(MMCU)中所收录的题目进行介绍，并基于测试结果分析数据在语言模型训练过程中的重要性。
中文大模型评估数据集——C-Eval
夏栀的博客
07-29 1581
作者强调了在这种具有挑战性的环境中评估LLM的重要性， 因为目前的LLM发展已经超越了创建一个休闲的聊天机器人–它涉及到能够与各种数据类型互动、接收反馈、推理和使用工具、甚至执行行动的复杂系统或代理的发展（Mialon等 人，2023）。（Muennighoff等人，2022）是通过将多任务提示微调与预训练的多语言BLOOM模型（Scao等人，2022）相结合而创建的，不仅使用英语提示，还使用机器翻译的提示来匹配多语言任务的语言，并且被认为能够进行任务和语言无关的泛化。是对原LLaMA在中文环境中的改编。
使用ARM Cortex-M MCU拓展单片机教学
08-31
ARM处理器在90年代末进入中国，借助其在全球移动终端和嵌入式系统上的成功，正在深刻地影响着嵌入式系统教学。2004年ARM发布Corex-M3 MCU内核之后，国际上主要的MCU厂商纷纷推出基于M3、M4、M0和M0+的各种MCU。其中M0/M0+瞄准的是替代传统的以8051为代表的8位MCU市场，这些给单片机（MCU）和嵌入式教育带来新的机遇和挑战。
zynq-implementationcuo错误-MMCU中COMPENSATION 的设置问题
Zhuoyan_bin的博客
07-18 1848
在implementation的时候出现这个问题： Input clock driver ： Unsupported MMCM2_ADV connectivity .The signal design-1/// with COMPENSATION mode ZHOLD must be driven by a clock capable IO. 由于是前几天的问题，当时没复制，就手打出来吧，这个问题主要是因为Clocking Wizard 的IP核。这个时钟是在内部用的。在implementation的时
强推！大语言模型『百宝书』，一文缕清所有大模型！
夕小瑶科技说
07-31 371
本文总结了主流的基座模型以及对应的指令微调模型，希望社区的小伙伴多多讨论，一起努力构建更为强大的中文社区的语言模型~
（五）测试集评估模型性能（datawhale学习）
qq_49071848的博客
02-23 1086
测试集评估模型性能
PyTorch+Transformers常用数据集+训练模型de傻瓜教程
North_D的博客
03-17 962
通过在这样的数据集上微调大型语言模型，如Meta的LLaMA模型，Alpaca模型能够在多种自然语言处理任务上表现出良好的性能，并且特别适合在消费级显卡上进行训练和部署，因为相较于其他大规模模型，它相对轻量级。随着大语言模型的发展，不断有新的数据集出现，用于解决特定任务或改善模型在特定语言和文化背景下的表现。此外，还有针对中文指令的Alpaca数据集变体，以及其他扩展或派生的数据集，如支持多轮对话的数据集，这些都为研究人员和开发者提供了丰富的资源来训练和测试指令驱动的对话系统。
MCU开发新利器：MMCU
gitblog_00049的博客
04-04 391
MCU开发新利器：MMCU 去发现同类优质开源项目:https://gitcode.com/ 是一个强大的微控制器(Microcontroller)开发平台，专为嵌入式开发者打造。它集成了代码编辑、编译、调试和云存储等多方面功能，大大简化了MCU项目的开发流程，让你可以在任何地方、任何时候轻松地进行工作。 技术分析 MMCU 使用现代Web技术构建，提供了一个全功能的在线IDE（集成开发环境）。这...
【人工智能学习之PaddleOCR快速上手】
Jiagym的博客
10-12 1170
在配置文件中，可以设置组建模型、优化器、损失函数、模型前后处理的参数，PaddleOCR从配置文件中读取到这些参数，进而组建出完整的训练流程，完成模型训练，在需要对模型进行优化的时，可以通过修改配置文件中的参数完成配置，使用简单且方便修改。而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。准确检测的标准是检测框与标注框的IOU大于某个阈值，正确识别的检测框中的文本与标注的文本相同。如果缺少带标注的数据，或者不想投入研发成本，建议直接调用开放的API，开放的API覆盖了目前比较常见的一些垂类。
DINO&DINO v2：颠覆自监督视觉特征表示学习
家鸽的代码屋
10-15 697
DINO系列学习总结
深度学习速通系列:中文命名实体识别（NER）数据集大全（含链接）
最新发布
Ven%的博客
10-16 160
训练集8001条、验证集1000条、测试集1001条。：在清华大学开源的文本分类数据集THUCTC基础上进行细粒度命名实体标注，包含地址、书名、公司、游戏、政府、电影、姓名、组织机构、职位、景点等类别。：基于淘宝电商数据制作的NER数据集，包括商品名称、商品型号、人名、地名等类别。：基于新浪财经收集的上市公司高管简历，标注了国籍、教育背景、地名、人名、组织名、专业、民族、职称等8种实体。：由Boson提供，包含时间、地点、人名、组织名、公司名、产品名等类别，共2000个段落。
v-usb编译成功的案例
07-20
CFLAGS = -mmcu=$(MCU) -DF_CPU=$(F_CPU) -Os all: $(TARGET).hex $(TARGET).hex: $(TARGET).elf $(OBJCOPY) -O ihex -R .eeprom $$@ $(TARGET).elf: $(TARGET).c usbdrv.c usbdrvasm.S $(CC) $(CFLAGS) -o $@ ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值