最全 高质量 大模型 -评估基准数据集（不定期更新）

于 2024-09-16 20:02:36 发布
阅读量1.2k 收藏 11
点赞数 7
文章标签： 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011559552/article/details/142306270
版权

评估基准是推动人工智能领域技术进步和应用落地的关键工具，通过这些基准，我们可以更全面地理解LLMs的能力，并指导未来的研究和实践。

评估基准，是一套衡量标准，就像老师用考试来检查学生学得怎么样。在大模型的世界里，这些标准就是用来衡量这些电脑大脑在处理语言、图像或者其他任务时的表现。

评估基准：

1、性能衡量：

评估基准提供了一套标准化的测试，来衡量LLMs在特定任务上的性能，如语言理解、文本生成等等。

2、模型比较：

通过评估基准，研究人员可以比较不同LLMs的性能，识别出哪些模型在特定任务上表现更优。

3、模型优化：

评估基准的结果可以反馈给模型开发者，帮助他们优化模型结构和训练过程。

数据集：READOC|文档结构化提取数据集|评估基准数据集

  • 创建时间：2024-09-08

  • 链接地址：READOC|文档结构化提取数据集|评估基准数据集

  • 数据集介绍：READOC数据集是由中国科学院软件研究所和中国信息处理实验室创建的一个统一基准，旨在评估真实文档结构化提取系统。该数据集包含2233个从arXiv和GitHub收集的多样化真实世界文档，涵盖了多种类型、年份和主题。数据集的创建过程包括自动构建PDF-Markdown对，并开发了一个包含标准化、分段和评分模块的评估套件。READOC数据集主要应用于文档结构化提取领域，旨在解决现有评估方法的碎片化和不现实性问题，推动该领域的进一步发展。

数据集：GMAI-MMBench|医疗AI数据集|评估基准数据集

  • 创建时间：2024-08-07

  • 链接地址：GMAI-MMBench|医疗AI数据集|评估基准数据集

  • 数据集介绍：GMAI-MMBench是由上海人工智能实验室等机构创建的综合性医疗AI评估基准，包含285个高质量数据集，覆盖39种医疗图像模态和18个临床任务。数据集内容丰富，包括2D检测、分类和2D/3D分割等多种任务，数据来源于全球各地的公共和医院资源。创建过程中，数据集经过严格筛选和标准化处理，确保了数据的多样性和临床相关性。该数据集主要用于评估和提升大型视觉语言模型在医疗领域的应用，特别是在疾病诊断和治疗方面的辅助能力。

数据集：DreamBench++ 图像自动评估基准数据集|图像评估数据集|人工智能数据集

  • 创建时间：2024-07-09

  • 链接地址：DreamBench++ 图像自动评估基准数据集|图像评估数据集|人工智能数据集

  • 数据集介绍：DreamBench++ 是一个由清华大学、西安交通大学、伊利诺伊厄巴纳-香槟分校、中科院、旷视的研究人员于 2024 年共同推出的新基准，旨在解决个性化图像生成技术评估中存在的问题。它通过引入支持多模态的 GPT-4o，实现了与人类偏好的深度对齐和自动化评估，并推出了一个更为全面和多元化的数据集。

数据集：UBENCH|语言模型评估数据集|基准测试数据集

  • 创建时间：2024-06-19

  • 链接地址：UBENCH|语言模型评估数据集|基准测试数据集

  • 数据集介绍：UBENCH是由南开大学软件学院创建的一个综合基准，用于评估大型语言模型（LLMs）的可靠性。该数据集包含3978个多选题，覆盖知识、语言、理解和推理四个主要领域，旨在通过这些题目评估LLMs在不同任务中的表现。UBENCH的数据来源于多个公开数据集，经过特殊处理和严格的质量控制，以确保评估的准确性。该数据集适用于广泛的开放源和闭源模型，特别强调高效的推理和可扩展性。UBENCH的应用领域包括但不限于模型评估和改进，旨在解决LLMs在实际应用中的不确定性和可靠性问题。

数据集：DeepFaceGen|人脸伪造检测数据集|评估基准数据集

  • 创建时间：2024-06-13

  • 发布机构：浙江大学

  • 链接地址：DeepFaceGen|人脸伪造检测数据集|评估基准数据集

  • 数据集介绍：DeepFaceGen是由浙江大学开发的一个大规模人脸伪造检测评估基准。该数据集包含463,583张真实人脸图像和313,407个真实视频，以及350,264张伪造图像和423,548个伪造视频，这些伪造样本使用了34种主流的人脸生成技术。在构建过程中，DeepFaceGen考虑了内容多样性、种族公平性和全面的标签可用性，确保了其多功能性和便利性。该数据集主要用于评估和分析现有面部伪造检测技术，旨在推动面部伪造检测技术的发展，解决由AI生成内容技术引发的真实性验证难题。

数据集：m-a-p/CHC-Bench|中文理解评估数据集|多学科基准数据集

  • 创建时间：2024-04-08

  • 链接地址：m-a-p/CHC-Bench|中文理解评估数据集|多学科基准数据集

  • 数据集介绍：CHC-Bench是一个精心挑选的多学科中文硬案例基准，用于评估模型在理解和遵循中文指令方面的能力。数据集包含来自多个来源的问题，涵盖写作、人文历史、科学、数学、阅读理解、角色扮演等多个类别，并特别关注中文理解的硬案例，如中文发音和古代中文语言理解等。评估方法综合考虑了响应的准确性、有用性、相关性、深度、创造性和详细程度等多个维度。

数据集：FETV|文本到视频生成数据集|评估基准数据集

数据集：中文生成式聊天评估基准(CGCE)|自然语言生成数据集|聊天模型评估数据集

  • 创建时间：2023-05-24

  • 链接地址：中文生成式聊天评估基准(CGCE)|自然语言生成数据集|聊天模型评估数据集

  • 数据集介绍：中文生成式聊天评估基准(CGCE)是由度小满创建的一个专注于中文生成式聊天模型的评估数据集。该数据集包含350个问题，分为200个通用领域问题和150个金融领域专业问题。通用领域问题涵盖数学计算、场景写作、逻辑推理等13个维度，而金融领域则涉及金融术语理解、市场评论、数据分析等多个专业方面。数据集通过人工评分，评估模型的准确性、连贯性、表达清晰度和完整性。CGCE旨在为研究人员提供一个标准化的评估框架，以评估和比较中文生成式聊天模型的性能，推动自然语言生成(NLG)领域的研究进展。

一、自然语言处理（NLP）：

数据集：nyu-mll/glue|自然语言处理数据集|语言理解数据集

  • 更新时间：2024-01-30

  • 发布机构：nyu-mll

  • 链接地址：nyu-mll/glue|自然语言处理数据集|语言理解数据集

  • 数据集介绍：GLUE（通用语言理解评估基准）是一个集合了多种资源的数据集，用于训练、评估和分析自然语言理解系统。它涵盖了多个任务，包括文本分类、自然语言推理、语义相似性评分等，每个任务都有详细的数据集结构和评估标准。GLUE通过多个子任务来全面评估模型的语言理解能力，并提供了一个Leaderboard来展示不同模型的性能。

数据集：rajpurkar/squad|自然语言处理数据集|阅读理解数据集

  • 更新时间：2024-03-04

  • 链接地址：SQuad|自然语言处理数据集|阅读理解数据集

  • 数据集介绍：斯坦福问答数据集（SQuAD）是一个阅读理解数据集，包含由众包工作者针对一组维基百科文章提出的问题，每个问题的答案是相应阅读文章中的文本段落，或者问题可能无法回答。SQuAD 1.1包含超过100,000个问题-答案对，涵盖500多篇文章。该数据集支持问答任务，是单语的，仅包含英语内容。数据集根据CC BY-SA 4.0许可发布，由众包和发现语言创建者共同策划。

数据集：SummEval, Newsroom|文本摘要数据集|自动评估数据集

  • 创建时间：2023-05-11

  • 链接地址：SummEval, Newsroom|文本摘要数据集|自动评估数据集

  • 数据集介绍：SummEval数据集包含基于人类和自动指标的评分，包括人类对连贯性、一致性、流畅性和相关性的评分，以及基于预训练语言模型的困惑度分数和各种自动评估指标如BLEU、ROUGE和BERTScore等。Newsroom数据集没有伴随的参考真相，因此使用源文本作为参考，用于评估基于参考的或接近无参考的指标。

二、计算机视觉：

数据集：taesiri/imagenet-hard|图像分类数据集|ImageNet数据集

  • 更新时间：2023-06-16

  • 链接地址：taesiri/imagenet-hard|图像分类数据集|ImageNet数据集

  • 数据集介绍：ImageNet-Hard是一个包含10,980张图像的基准数据集，这些图像从多个ImageNet相关数据集中收集而来，旨在挑战当前最先进的视觉模型。数据集的特点是，简单的图像放大无法有效提高模型的分类准确性，即使是如CLIP-ViT-L/14@336px这样的先进模型，其准确率也仅为2.02%。数据集提供了详细的分类标签映射和数据实例的结构描述，包括图像、标签、来源和英文标签等字段。

数据集：COCO数据集|图像识别数据集|计算机视觉数据集

  • 创建时间：2018-09-13

  • 链接地址：COCO数据集|图像识别数据集|计算机视觉数据集

  • 数据集介绍：COCO数据集，全称Common Objects in COntext，是微软团队提供的一个用于图像识别的大型数据集。它包含了80个对象类别和多种场景类型的图像，通过在Flickr上搜索并使用Amazon Mechanical Turk进行数据收集。数据集分为训练、验证和测试集，并提供了三种标注类型：目标实例、目标上的关键点和看图说话，所有数据均使用JSON文件存储。

数据集：pascal-voc|目标检测数据集|语义分割数据集

三、语音识别：

数据集：gilkeyio/librispeech-alignments

数据集地址：gilkeyio/librispeech-alignments｜用于研究的大规模读英语语音数据集

数据集介绍：Librispeech Alignments是一个包含1000小时16kHz读英语语音的数据集，来源于LibriVox项目的英语有声书。数据集包括多个子集，用于训练和评估自动语音识别（ASR）系统。数据集特征包括说话人性别、子集类型、唯一ID、音频文件、转录文本、单词和音素的开始和结束时间。数据集的标注是通过Montreal Forced Aligner自动生成的，用于生成单词和音素级别的对齐。

数据集：SMS-WSJ (Spatialized Multi-Speaker Wall Street Journal)|语音识别数据集

四、机器学习和模式识别：

数据集：UCI Machine Learning Repository|机器学习数据集|数据集数据集

数据集：Kaggle Competitions Data|数据科学竞赛数据集|Kaggle数据集

DatasetQuest
关注
中文大模型评估数据集——C-Eval
夏栀的博客
07-29 1547
作者强调了在这种具有挑战性的环境中评估LLM的重要性， 因为目前的LLM发展已经超越了创建一个休闲的聊天机器人–它涉及到能够与各种数据类型互动、接收反馈、推理和使用工具、甚至执行行动的复杂系统或代理的发展（Mialon等 人，2023）。（Muennighoff等人，2022）是通过将多任务提示微调与预训练的多语言BLOOM模型（Scao等人，2022）相结合而创建的，不仅使用英语提示，还使用机器翻译的提示来匹配多语言任务的语言，并且被认为能够进行任务和语言无关的泛化。是对原LLaMA在中文环境中的改编。
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 8724
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
【大模型评测】常见的大模型评测数据集
热门推荐
A-Itfuture的博客
01-17 1万+
同时评测分为两部分，自动化评测的客观题部分和依赖于专家打分的主观题部分，这两部分结果构成了最终的分数，您可以通过构建示例中的脚本快速对一个已部署的大模型进行评测，或者向我们提交您需要评测的模型的主观题预测结果，进行我们人工评分的流水线操作。表述为带有二元选项的填空任务，目标是为需要常识推理的给定句子选择正确的选项。MMLU 是一个包含了 57 个子任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，有效地衡量了人文、社科和理工等多个大类的综合知识能力。
高质量数据集的“高质量”包含哪些要素
biaobei的博客
08-14 393
所谓的语料就是我们俗称的“AI训练数据集”，AI训练数据集是现代数据分析和机器学习的基础。它们是用于构建模型的训练数据、用于评估模型的测试数据和用于推断模型的数据的集合。那么如何定义AI训练数据集的高质量呢？
大模型系列：C-Eval中文大模型评测数据集介绍和实践
2401_85325397的博客
05-30 2522
C-Eval整体结构概述C-Eval数据预览C-Eval的Prompt范式Python脚本实现C-Eval评估ChatGLM2-6B在前文《大模型系列：LLM-Eval大模型评测理论简述》中介绍了大模型需要评测的内容，包括NLP任务知识和逻辑推理安全性对齐性等多个角度，C-Eval数据集主要用于评测大模型的知识和逻辑推理能力，即大模型是否能够认识和理解广泛的世界知识，并类似人类一样对事物进行推理规划。
国内首个大模型评测数据集（MMCU）问世加速完善国产AI产业图谱
weixin_63444872的博客
05-23 543
众所周知，人工智能技术在飞速演进。大模型仍有许多难关亟待解决，借助超越MMCU评测数据集，一举打破市面上所有的大语言模型只能基于英文数据集去进行测试的现状，中文大语言模型将有望构建起一个完善的评测的体系，通过发现提升大语言的缺陷提升大语言模型对于中文的理解能力，更好地服务于全球的中文用户。沙龙上，中国科学院大学网络数据重点实验室的咸宁先生则针对MMCU测试集的使用情况进行分享，解释了测试数据集的分析原理，对几大模型的测试成果进行了展示与客观分析，并指出了超越MMCU测试数据集当下尚存在一些亟待解决的问题。
libtorch waternet水下图像增强模型和基准数据集
爱CV
07-19 1547
此外，我们提出了一个在此基准上训练的水下图像增强网络（称为 Water-Net）作为基线，这表明了所提出的 UIEB 用于训练卷积神经网络（CNN）的泛化。此外，我们提出了一个在此基准上训练的水下图像增强网络（称为 Water-Net）作为基线，这表明了所提出的 UIEB 用于训练卷积神经网络（CNN）的泛化。此外，我们提出了一个在此基准上训练的水下图像增强网络（称为 Water-Net）作为基线，这表明了所提出的 UIEB 用于训练卷积神经网络（CNN）的泛化。60 张具有挑战性的水下图像。
城市森林监测的大规模基准数据集
212940Auto Arborist数据集：一个用于多视角城市森林监测的大规模基准0Sara Beery*†，Guanhang Wu†，Trevor Edwards†，Filip Pavetic†，Bo Majewski†，Shreyasee Mukherjee†，StanleyChan†，John ...
YOLO权重数据集评估：量化数据集质量，直击模型性能提升关键
![YOLO权重数据集评估：量化数据集质量，直击模型性能...对YOLO权重数据集进行评估对于确保数据集的质量至关重要，从而提高模型的性能。 **1.2 数据集评估指标** 评估数据集质量的常用指标包括： - 精确率、召回率和
软考高级-信息系统管理师之项目管理成熟度模型、知识产权、标准规范、收尾管理（最新版）
坚果的博客
02-19 1490
1、组织级项目管理OPM致力于集成如下内容。(1)知识(项目组合、项目集和项目过程的知识)。(2)组织战略(使命、愿景、目的和目标)。(3)人(有胜任能力的资源)。(4)过程(过程改进各个阶段的应用)。2、项目组合管理通过选择正确的项目集或项目，对工作进行优先排序，以及提供所需资源，来与组织战略保持一致。项目集管理对项目集所包含的项目和其他组成部分进行协调，对它们之间的依赖关系进行控制，从而实现既定收益。
从基础到高级：AI大模型开发的技术栈
程序员光剑
01-17 1345
人工智能（AI）技术在近年来取得了突飞猛进的发展，其中大模型（Large Language Models，LLMs）的出现更是掀起了新一轮的技术革命。从OpenAI的GPT系列到Google的BERT，再到更近期的Claude和PaLM，这些大模型展现出了惊人的语言理解和生成能力，正在重塑我们与技术交互的方式。然而，开发如此复杂的AI系统并非易事，它需要一整套完善的技术栈支持。本文旨在全面剖析AI大模型开发的技术栈，从基础理论到实际应用，为读者提供一个清晰而深入的认识。
全网公开的大模型评测数据集整理
代码讲故事
02-26 2178
全网公开的大模型评测数据集整理。
一文详看大模型长文本如何评估：四大主流评测数据集的任务设计、数据集构建方案
ThinkDoc.vip
11-21 5440
本文主要针对长文本评估，梳理了当前具有代表性的长文本评测，包括Zero-SCROLLS、L-Eval、LongBench以及loge四个基准。其中关于数据集的选取，任务的设计，以及对现有模型的评估都具有很好的指引性，对于具体的细节信息，可以对参考文献进行查阅，会有更多的收获。
数据收集和准备：打造高质量的数据集
theskylife的博客
11-29 1793
从选择数据源到最佳实践和注意事项，每一个步骤都对最终的数据集质量产生着重要影响。数据的收集和准备是数据科学中不可或缺的一环，它决定了后续分析和建模的成败。那么如何打造高质量的数据集？
最全 高质量 大模型 -偏好数据集（不定期更新）
最新发布
u011559552的博客
09-15 1010
大模型中的偏好数据集，就好比是给一个超级学霸特别定制的教材，这些教材里的内容都是这个学霸特别感兴趣或者特别擅长的。这样一来，学霸就能在这些领域里学得更快、更深入，而不是在所有科目上平均用力。 简单来说，就是让大模型在它擅长或者感兴趣的领域里更加出色。
opencompass大模型评测
mnwl12_0的博客
04-29 291
#
大模型评测概述-以司南为例
qq_43814415的博客
04-28 1274
本文以司南评估工具为例，介绍了大模型评测这一内容。大模型评测和以往的nlp模型评测的不同在于要考虑非常多的维度，根源在于大模型的多维能力。传统nlp模型只需要针对文本分类、ner等某个具体任务，但是大模型具有文本对话、角色扮演、文本分类等传统nlp有和没有的能力。因此，司南将其分为通用能力和特色能力两个部分，再分层划分各个子维度的能力。再回顾下开发大模型的生命周期：模型基座（base），增量预训练，sft，奖励学习，人类偏好学习。目前大多还是只走到了sft。
汇总大语言模型LLM的评测基准数据集（BenchMarks）
日常学习与专研的记录
06-28 2733
本文介绍大语言模型LLM的BenchMarks评测数据集，帮助评估模型能力。
这30个高质量的数据集网站，你必须要试试！
weixin_38754337的博客
09-18 2394
一、数据查询网站1、企业产生的用户数据百度指数：http://index.baidu.com/阿里指数：https://alizs.taobao.com/TBI 腾讯浏览指数：http:/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值