【大模型评测】常见的大模型评测数据集

已于 2024-01-19 14:40:01 修改
阅读量4k 收藏 42
点赞数 32
分类专栏： AI前沿技术 数据分析 文章标签： 数据集 人工智能 语言模型 ai
于 2024-01-17 10:16:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43431218/article/details/135631534
版权

在这里插入图片描述

开源大模型评测排行榜

https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

其数据是由其后端lm-evaluation-harness平台提供。

数据集

1.英文测试

  • MMLU
    https://paperswithcode.com/dataset/mmlu
            MMLU（大规模多任务语言理解）是一种新的基准测试，旨在通过仅在零样本和少样本设置中评估模型来衡量预训练期间获得的知识。这使得基准更具挑战性，并且更类似于我们评估人类的方式。该基准涵盖 STEM、人文、社会科学等领域的 57 个学科。它的难度从初级到高级专业水平不等，它既考验世界知识，也考验解决问题的能力。科目范围从数学和历史等传统领域到法律和伦理学等更专业的领域。主题的粒度和广度使基准测试成为识别模型盲点的理想选择。
             MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。

  • GSM8K
    https://github.com/OFA-Sys/gsm8k-ScRel
    https://huggingface.co/datasets/gsm8k
            GSM8K（小学数学 8K）是一个包含 8.5K 高质量语言多样化小学数学单词问题的数据集。创建该数据集是为了支持对需要多步骤推理的基本数学问题进行问答的任务。
            GSM8K 是一个高质量的英文小学数学问题测试集，包含 7.5K 训练数据和 1K 测试数据。这些问题通常需要 2-8 步才能解决，有效评估了数学与逻辑能力。

  • winogrande
    https://github.com/allenai/winogrande
    https://huggingface.co/datasets/winogrande
            WinoGrande 是 44k 问题的新集合，受 Winograd Schema Challenge（Levesque、Davis 和 Morgenstern 2011）的启发，进行了调整以提高针对数据集特定偏差的规模和鲁棒性。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。

  • MATH
    https://github.com/hendrycks/math
            MATH 是一个由数学竞赛问题组成的评测集，由 AMC 10、AMC 12 和 AIME 等组成，包含 7.5K 训练数据和 5K 测试数据。

  • HumanEval
            HumanEval 是由 OpenAI 发布的 164 个手写的编程问题，包括模型语言理解、推理、算法和简单数学等任务

  • BBH
    https://huggingface.co/datasets/lukaemon/bbh

2.布尔类型的表达式推理判断

  • MBPP
    https://huggingface.co/datasets/mbpp
            该基准测试由大约 1,000 个众包 Python 编程问题组成，旨在由入门级程序员解决，涵盖编程基础知识、标准库功能等。每个问题都由任务描述、代码解决方案和 3 个自动化测试用例组成。

  • AI2 ARC
    https://huggingface.co/datasets/ai2_arc
            一个由7,787个真正的小学水平的多项选择科学问题组成的新数据集，旨在鼓励对高级问答的研究。数据集分为挑战集和简单集，其中前者仅包含由基于检索的算法和单词共现算法错误回答的问题。我们还包括一个包含超过 1400 万个与该任务相关的科学句子的语料库，以及该数据集的三个神经基线模型的实现。我们将ARC视为对社区的挑战。

3.中文测试

  • C-Eval
    中文数据集：https://cevalbenchmark.com/
    使用教程：https://github.com/hkust-nlp/ceval/blob/main/README_zh.md
            C-Eval是一个全面的中文基础模型评测数据集，它包含了 13948 个多项选择题，涵盖了 52 个学科和四个难度级别。
            通常你可以直接从模型的生成中使用正则表达式提取出答案选项（A,B,C,D)。在少样本测试中，模型通常会遵循少样本给出的固定格式，所以提取答案很简单。然而有时候，特别是零样本测试和面对没有做过指令微调的模型时，模型可能无法很好的理解指令，甚至有时不会回答问题。这种情况下我们推荐直接计算下一个预测token等于"A", “B”, “C”, "D"的概率，然后以概率最大的选项作为答案 – 这是一种受限解码生成的方法，MMLU的官方测试代码中是使用了这种方法进行测试。注意这种概率方法对思维链的测试不适用。更加详细的评测教程。

  • CMMLU
    https://github.com/haonan-li/CMMLU
            CMMLU是一个综合性的中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU涵盖了从基础学科到高级专业水平的67个主题。它包括：需要计算和推理的自然科学，需要知识的人文科学和社会科学,以及需要生活常识的中国驾驶规则等。此外，CMMLU中的许多任务具有中国特定的答案，可能在其他地区或语言中并不普遍适用。因此是一个完全中国化的中文测试基准。
            涉及一些不是常见标准化考试类型的题目，例如食物，中国驾驶规范等。
            CMMLU 是一个包含了 67 个主题的中文评测数据集，涉及自然科学、社会科学、工程、人文、以及常识等，有效地评估了大模型在中文知识储备和语言理解上的能力。

  • SuperCLUE
    https://github.com/CLUEbenchmark/SuperCLUE
            SuperCLUE是一个综合性大模型评测基准，本次评测主要聚焦于大模型的四个能力象限，包括语言理解与生成、专业技能与知识、Agent智能体和安全性，进而细化为12项基础能力。

  • GAOKAO-Bench
    https://github.com/OpenLMLab/GAOKAO-Bench
            Gaokao 是一个中国高考题目的数据集，旨在直观且高效地测评大模型语言理解能力、逻辑推理能力的测评框架。
            收集了2010-2022年全国高考卷的题目，其中包括1781道客观题和1030道主观题，构建起GAOKAO-bench的主要评测数据。同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。所有过程的数据和结果都是公开的。

  • AGIEval
    https://github.com/ruixiangcui/AGIEval
            AGIEval 是一个用于评估基础模型在标准化考试（如高考、公务员考试、法学院入学考试、数学竞赛和律师资格考试）中表现的数据集。
            AGIEval 是一个以人为中心的基准测试，专门用于评估基础模型在与人类认知和解决问题相关的任务中的一般能力。该基准源自 20 项针对普通人类考生的官方、公开和高标准的入学和资格考试，例如普通大学入学考试（例如，中国高考（高考）和美国 SAT）、法学院入学考试、数学竞赛、律师资格考试和国家公务员考试。有关基准测试的完整描述，请参阅我们的论文：AGIEval：评估基础模型的以人为本的基准。

4.多语言测试

  • M3Exam
    https://github.com/DAMO-NLP-SG/M3Exam
            包含 12317 个问题，涵盖从高资源语种例如中文英文，到低资源语种例如斯瓦希里语及爪哇语等9个语言。
            一个特点是所有问题均来源是当地的真实人类试题，所以包含了特定的文化背景，要求模型不仅是能理解语言，还需要对背景知识有所掌握。
            中文部分也公开了图片类试题，可以测试中文多模态模型。

  • LongBench
    LongBench 是第一个用于对大型语言模型进行双语、多任务、全面评估长文本理解能力的基准测试。

5.传统NLP数据集

6.多语言

7.适合情感分析

8.测试平台

子非Yu@Itfuture
关注
  • 32
    点赞
  • 踩
  • 42
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 6939
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
【学习机器学习】实验——模型评估与选择
12-21
【学习机器学习】模型评估与选择 这学期的课很多都要实验啊，不过机器学习真的可以算其中比较离谱的了，不说当堂上交，就这个任务量也属实有点多。其实要到4月3号才是我们班做，提前找其他班同学要到了先用python写写，到时候可能还要用matlab重新实现。。。 0、实验总览 Ⅰ、编程实现训练数据集与测试数据集 Ⅱ、编程实现性能度量 Ⅲ、编程实现假设检验（不太会） 一、任务一 1.1 留出法 留出法原理很直观，就是按照设定的比例对原始数据随机划分成两个互斥的集合，注意训练/测试集划分要尽可能保持数据分布的一致性（其实只要是随机分的多数可以保证） 那代码实现，如果调用sklearn真的是一句话就完事儿了
GLUE部分基准数据集介绍：RTE、MRPC、SST-2、QNLI、MNLI、QQP
热门推荐
skysys的研究小屋
04-15 1万+
自然语言处理（NLP）主要包括自然语言理解（NLU）和自然语言生成（NLG）。为了让NLU任务发挥最大的作用，来自纽约大学、华盛顿大学等机构创建了一个多任务的自然语言理解基准和分析平台，也就是GLUE（General Language Understanding Evaluation）。 GLUE包含九项NLU任务，语言均为英语。GLUE九项任务涉及到自然语言推断、文本蕴含、情感分析、语义相似等多个任务。像BERT、XLNet、RoBERTa、ERINE、T5等知名模型都会在此基准上进行测试。目前，大家要把
【评测】MMLU(大规模多任务语言理解)简介(MMLU-ZS/MMLU-FS)
qq_32874697的博客
03-14 608
在MMLU基准中，涉及到了两种特定的测试设置，即mmlu-zs（zero-shot）和mmlu-fs（few-shot）。mmlu-zs测试涉及在没有任何训练数据的情况下对模型进行评估，而mmlu-fs测试涉及在有限的训练数据情况下对模型进行评估。MMLU基准的目标是揭示模型在各个任务上的盲点和不足，并推动模型在多任务语言理解方面的进一步改进和发展。mmlu-zs和mmlu-fs测试是MMLU基准中的重要组成部分，用于衡量模型在零样本和少样本学习中的能力。使用MMLU基准对一个预训练的语言模型进行评估。
大模型评测总结与思考
TURING.DT
08-16 2176
想要全面且准确的测出一个大模型的能力且让所有人认可、达成共识，这件事本身具有非常大的难度，如今大模型的发展不同以往，传统的NLP榜单，不论是测评的能力项还是具体测评case都难以满足，为此必定要构建新的测评集，这个难度正如前面所说很大，还有一条路就是不构建测试集而是公测，让所有人来随机测，各种提问，但是这种方式对于开发者来说迭代周期长，且各个模型之间也难以量化对比。每一个测评集都不一样，进而导致了结论的不一样，也无法达成共识，目前唯一的共识可能就是chatgpt和gpt4比较强，其他的各说其词。
多模态大模型训练数据集汇总介绍
hello AI
11-21 3739
RefCOCO+中的查询不包含绝对的方位词，如描述对象在图像中位置的右边。OCR-VQA-200K是一个通过读取图像中的文本(OCR)进行视觉问答的大规模数据集，包含20多万张书籍封面图像及100多万个相关问答对，随机将80%、10%和10%的图像分别用于训练、验证和测试，因此分别产生了大约800K、100K和100K的训练、验证和测试QA对。数据集示例如下图所示，每个图的 caption 描述在图片正下方，绿色是根据下面的 caption 标注的 gt，蓝色是预测正确的框，红色是预测错误的框。
LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-10 1万+
​ LLMs：MMLU基准(大规模多任务语言理解)的简介(MMLU-ZS/MMLU-FS)、安装、使用方法之详细攻略 目录 MMLU基准的简介 MMLU基准的安装 MMLU基准的使用方法 MMLU基准的简介 2020年9月7日，Dan Hendrycks, Collin Burns, Steven Basart等人提出了一种新的测试方法，用于衡量文本模型的多任务准确性。该测试涵盖了57个任务，包括基本数学、美国历史、计算机科学、法律等多个领域。为了在这个测试中获得高准
一文详看大模型长文本如何评估：四大主流评测数据集的任务设计、数据集构建方案
ThinkDoc.vip
11-21 3222
本文主要针对长文本评估，梳理了当前具有代表性的长文本评测，包括Zero-SCROLLS、L-Eval、LongBench以及loge四个基准。其中关于数据集的选取，任务的设计，以及对现有模型的评估都具有很好的指引性，对于具体的细节信息，可以对参考文献进行查阅，会有更多的收获。
收藏丨30个大语言模型训练相关的数据集分享
OpenDataLab的博客
03-09 5194
更多数据集，请访问OpenDataLab官网
国内首个大模型评测数据集（MMCU）问世加速完善国产AI产业图谱
weixin_63444872的博客
05-23 450
众所周知，人工智能技术在飞速演进。大模型仍有许多难关亟待解决，借助超越MMCU评测数据集，一举打破市面上所有的大语言模型只能基于英文数据集去进行测试的现状，中文大语言模型将有望构建起一个完善的评测的体系，通过发现提升大语言的缺陷提升大语言模型对于中文的理解能力，更好地服务于全球的中文用户。沙龙上，中国科学院大学网络数据重点实验室的咸宁先生则针对MMCU测试集的使用情况进行分享，解释了测试数据集的分析原理，对几大模型的测试成果进行了展示与客观分析，并指出了超越MMCU测试数据集当下尚存在一些亟待解决的问题。
中文大模型评估数据集——C-Eval
夏栀的博客
07-29 1258
作者强调了在这种具有挑战性的环境中评估LLM的重要性， 因为目前的LLM发展已经超越了创建一个休闲的聊天机器人–它涉及到能够与各种数据类型互动、接收反馈、推理和使用工具、甚至执行行动的复杂系统或代理的发展（Mialon等 人，2023）。（Muennighoff等人，2022）是通过将多任务提示微调与预训练的多语言BLOOM模型（Scao等人，2022）相结合而创建的，不仅使用英语提示，还使用机器翻译的提示来匹配多语言任务的语言，并且被认为能够进行任务和语言无关的泛化。是对原LLaMA在中文环境中的改编。
七大语言模型PK，ChatGPT内容基线评测
05-18
随着ChatGPT的爆火与流行，大型语言模型（LLM）与生成式人工智能（AIGC）不断跃入大众视野，随之也带来了许多内容风险隐患。 近日，知道创宇内容安全专家对互联网上流行的7款大型语言模型进行了全面和客观的内容基线评测，并根据内容安全审核规范进行严格打分，形成测评结果，以期为研究者、开发者及使用者提供关于大型语言模型的开发和应用方面的参考。 从评测结果来看： ChatGPT模型在多个问题的回答中表现良好。特别是在困难的语义中，仍表现了超强的理解能力和风险预判能力，显示出其在语言生成领域的强大潜力和前景。 Chinese-Alpaca-13B 和 Chinese-Alpaca-7B-plus虽然同属一个团队，也同样是基于LLaMA和Alpaca模型下进行开发，但是由于数据集的差异，所以在各种自然语言理解（NLU）和自然语言生成（NLG）任务中的表现也是有差异的，所以得分有高有低。 对于像ChatGPT、Bing-chat等这几款成熟的商用产品，是能看到这些大模型已经做过了不良样本过滤的行为；而一些开源的模型，在内容输入和输出上面仍没有做太多限制，将会导致产生大量不良内容。
DuExplain预训练语言模型可解释评测数据集.zip
12-31
DuExplain预训练语言模型可解释评测数据集.zip
mmdetection 模型评测指标
03-02
1. mmdet 默认使用的是coco格式的数据集，算法训练模型也是使用的coco格式训练数据； 2. 评测指标同样使用COCO数据集的评测指标，指标如下： 3. 算法评测参数： bbox  —— 目标检测框 segm —— 目标分割结果 4.  模型的判断标准有AP（平均精确率） 和AR（平均召回率） 两大类，在机械臂项目中，主要依据AP 来进行评测。 MAP  ——   mean Average Precision, 即各类别AP的平均值 AP50  ——  IOU 阈值设置成0.5时的AP值，也可协作mAP.5 mAP.5:.95 ——  mAP@[.5:.95](mAP@[.5,.95]) 表示在阈值区间 [0.5, 0.95]，步长为0.5的平均mAP 。IoU thresholds, from 0.5 to 0.95, step 0.05 (0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.9
基于国内大模型评测数据集 factool 的 UI.zip
12-24
AIGC（Artificial Intelligence Generated Content，人工智能生成内容）的重要性体现在以下几个方面： 内容创作效率提升： AIGC能够快速生成大量高质量的内容，包括文本、图像、音频、视频等，极大地提高了创作效率。这不仅降低了人力成本，也使得内容更新和迭代的速度加快，满足了信息爆炸时代人们对新鲜内容的高需求。 个性化和定制化服务： AIGC可以根据用户的需求和偏好自动生成个性化的内容。这种能力在教育、娱乐、营销等领域具有巨大价值，能够提供高度定制化的用户体验，增强用户黏性和满意度。 创新与发现新应用： AIGC技术的不断发展和普及促进了新的应用场景和商业模式的诞生。通过降低开发门槛，更多的开发者和企业能够探索和实验AIGC的应用，有可能催生出全新的现象级应用和服务。 商业效益增长： AIGC在数字商业化领域具有显著优势。它能够赋能营销策略，提高广告和推广的精准度和效果，从而带动企业收入的增长。同时，通过自动化的内容生成，企业可以节省资源并专注于核心业务的创新和发展。 知识传播与教育： AIGC能够生成教育材料、教程和知识摘要，帮助人们更高效地获取和学习新知识。在教育领域，AIGC可以个性化定制学习路径和内容，适应不同学生的学习速度和方式。 行业效率优化： 在保险、出版、法律等行业，AIGC可以自动处理大量的文档、报告和合同，提高工作效率，减少人为错误，并提供数据分析和决策支持。 学术研究与伦理考量： AIGC在学术研究中的应用需要遵循特定的使用边界和准则，以防止学术不端行为。明确的指南有助于确保研究成果的真实性和可信度，同时推动AI技术在科研领域的健康发展。
基于Siamese bilstm模型的相似句子判定模型,含训练数据集和测试数据集
04-26
数据集主要来源于CCKS2018评测项目微众银行客户问句匹配大赛, 总数据集大小为十万条. 模型 模型思想:采用典型的siamese网络,两个句子分成左右两个部分进行输入,使用了四层双向lstm(权重共享)进行网络编码,最后计算两...
注意力机制略解
cqbzcsq的博客
04-29 1160
本文简要地介绍了注意力机制，Q、K、V矩阵的含义，注意力评分函数的计算方式，并提及了Transformer的相关内容
Perfectly Clear Workbench for mac/win：让图像清晰不再是难题
2401_82627223的博客
04-27 678
Perfectly Clear Workbench是一款功能强大、操作简便的图像清晰处理软件。它不仅能够满足专业摄影师的高标准需求，也能让业余爱好者轻松提升作品质量。
Transformers：它们如何转换您的数据？
最新发布
gongdiwudu的专栏
05-01 811
在快速发展的人工智能和机器学习领域，一项创新因其对我们处理、理解和生成数据的方式产生深远影响而脱颖而出：Transformers。Transformer 彻底改变了自然语言处理 （NLP） 及其他领域，为当今一些最先进的 AI 应用程序提供动力。但究竟什么是变形金刚，它们如何以如此开创性的方式转换数据？本文揭开了 Transformer 模型内部工作的神秘面纱，重点介绍了编码器架构。我们将首先在 Python 中实现 Transformer 编码器，分解其主要组件。然后，我们将可视化 Transfor
大模型评测数据集的安全
12-13
大模型评测数据集的安全是一个非常重要的问题。由于大模型评测数据集通常包含大量的敏感信息，例如个人身份信息、财务信息等，因此必须采取一系列措施来确保数据的安全性。以下是一些常见的数据安全措施： 1. 数据脱敏：对于包含敏感信息的数据，可以采用数据脱敏的方式来保护数据的安全性。数据脱敏是指将敏感信息替换为不敏感的信息，例如将姓名替换为编号、将电话号码替换为随机数等。 2. 访问控制：对于大模型评测数据集，必须采取访问控制措施来限制数据的访问权限。只有经过授权的用户才能够访问数据集，而且必须对用户的访问进行记录和审计。 3. 数据加密：对于大模型评测数据集，可以采用数据加密的方式来保护数据的安全性。数据加密是指将数据使用密码学算法进行加密，只有拥有密钥的用户才能够解密数据。 4. 安全传输：对于大模型评测数据集，必须采取安全传输的方式来传输数据。可以使用SSL/TLS等安全传输协议来保证数据传输的安全性。 5. 安全存储：对于大模型评测数据集，必须采取安全存储的方式来存储数据。可以使用加密存储、备份等方式来保证数据的安全性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

子非Yu@Itfuture

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值