GSM8K数据集分享

已于 2024-03-09 12:19:14 修改
阅读量926 收藏 7
点赞数 8
分类专栏： 自然语言数据集分享 文章标签： 大模型测试数据集 人工智能 自然语言处理
于 2024-03-09 12:16:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yinizhilianlove/article/details/136580702
版权

来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-3-3

在这里插入图片描述

先进的语言模型可以在许多任务上与人类表现相媲美，但它们仍然难以执行多步骤数学推理任务。为此OpenAI团队创建了一个高质量、语言多样化的小学数学题数据集GSM8K，旨在旨在评估模型在多步数学推理上的性能表现，并支持相关研究。

具体来说，该数据集包含了8.5K（8500）个问题，这些问题都是由标注工作人员自己编制的，并且分为7.5K个训练问题集和1K个测试问题集。这些问题的解决通常需要2到8步，主要涉及使用基本的算术运算（加、减、乘、除）来达到最终答案，一个聪明的中学生应该能够解决每一个问题。

相关数据集与论文获取，GZ： AINLPer公众号 回复：GSM8K数据集

AINLPer
关注
专栏目录
大模型评测数据集：MMLU、MMCU、C-Eval
u013250861的博客
08-11 8935
DeepMind 的 Gopher 和 Chinchilla 这两个模型甚至只看 MMLU 的分数，因此我们想要构造一个中文的，有足够区分度的，多学科的基准榜单，来辅助开发者们研发中文大模型。我们花了大概三个月的时间，构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …近期，中文大模型研发如火如荼，但中文评价基准却很少。面对国内大语言模型万箭齐发的局面，如何更好地提升大语言模型对中文的理解能力，更好地服务于全球的中文用户，甲骨易。
论文翻译：GSM-PLUS: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Probl
CSPhD-winston的博客
07-25 884
大型语言模型（LLMs）在各种数学推理基准测试中取得了令人印象深刻的表现。然而，关于这些模型是否真的理解并应用数学知识，还是仅仅依赖于数学推理的捷径，争论越来越多。一个关键且频繁出现的证据是，当数学问题稍有变化时，LLMs可能会出现不正确的行为。这激励我们通过测试广泛的数学问题范围，包括GSM8K（Cobbe等人，2021年）、高中数学MATH（Hendrycks等人，2021年）和大学数学定理问答Theoremqa（Chen等人，2023年），来评估LLMs数学推理能力的鲁棒性。
gsm-8k的初认识
weixin_47858325的博客
03-19 831
GPT-4的gsm-8k的数据集
【搬运】GSM8K 数据集介绍
热门推荐
x66ccff
10-27 1万+
GSM8K 数据集是由 OpenAI 发布的小学数学题数据集，现将对 GSM8K 数据集的项目主页翻译如下。
大模型之基准测试集(Benchmark)-给通义千问2.0做测评的10个权威测基准测评集
aidashuju的博客
09-24 1625
CMMLU是针对中国背景下的大型语言模型的知识和推理能力的评测，由MBZUAI、上海交通大学、微软亚洲研究院共同推出，包含67个主题，专门用于评估语言模型在中文语境下的知识和推理能力。CMMLU是一个涵盖自然科学、社会科学、工程和人文学科等多个学科的综合性中国基准。是国内两大权威评测之一。
探索阿里云计算巢中的GSM8K数据集：开启小学数学智能问答新篇章
BJleiyang的博客
02-18 1210
这个高质量的数据集涵盖了8500多个小学数学词汇问题，专为支持多步推理及解决基本数学问题的任务而设计，为推动人工智能在数学教育领域的应用提供了有力支撑。计算巢官方提供了一个钉钉群，我们可以加入到群中直接跟阿里云官方人员进行交流，他们会非常迅速的帮我们更新数据集，之前我一直想要的wiki数据跟他们反馈后几个小时就给我上架了，速度感人～泪目～总之，阿里云计算巢的GSM8K数据集凭借其丰富的内容和严谨的结构设计，为研究者们构建和优化能够理解并解决复杂小学数学问题的AI模型提供了宝贵的资源。
Re44：数据集 GSM8K 和 论文 Training Verifiers to Solve Math Word Problems
诸神缄默不语的博客
09-01 3032
数据集 GSM8K 和 论文 Training Verifiers to Solve Math Word Problems 合并学习博文
LLMs之Gemma：gsm8k_eval.ipynb文件解读——通过构建基于问题-答案对的 prompting 模式来评估Gemma模型在GSM8K数据集上的表现水平
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
02-22 1647
​ LLMs之Gemma：gsm8k_eval.ipynb文件解读——通过构建基于问题-答案对的 prompting 模式来评估Gemma模型在GSM8K数据集上的表现水平 目录 核心步骤 使用Gemma对GSM8K进行评估 一、安装与下载 二、加载模型、数据集进行模型评估 核心步骤 >> 通过Kaggle下载Gemma模型的权重文件，作为本次评估的基础模型。 >> 加载和预处理GSM8K数据集，将训练集和测试集分离。 >> 定义一些辅助函数，如找出字符串中的数字，提取答案等。
如何对大模型进行评估上
qiaotl的博客
12-18 6199
从理论层面介绍如何进行大模型评估
各领域公开数据集下载
Eminbogen的博客
11-21 544
各领域公开数据集下载 转自：https://zhuanlan.zhihu.com/p/25138563
大型语言模型如何利用未标注数据集实现推理能力的自我增强？
最新发布
10-28
这种方法有效地减少了对标注数据的依赖，并在GSM8K、DROP、OpenBookQA和ANLI-A3等推理任务上显示出显著的性能提升。 参考资源链接：[大模型自我提升：无监督学习增强推理能力]...
大语言模型-教育方向数据集
CSPhD-winston的博客
09-19 526
大语言模型-教育方向数据集。
Training Verifiers to Solve Math Word Problems翻译
nopSled
11-10 1478
摘要 最优的语言模型可以在许多任务中匹配人类性能，但它们在执行多步数学推理上仍然困难。为了诊断当前模型的缺陷，并支持科学研究，我们引入了GSM8K，是一个高质量的8.5k大小的小学数学单词问题的数据集。我们发现即使是最大的transformer模型也无法达到高的测试集性能，尽管该问题分布的概念很简单。为了提高性能，我们提出训练verifiers来判断模型解答的正确性。在测试期间，我们生成许多候选解决方案，并选择verifiers排名最高的解决方案。我们证明，verifiers能显着提高模型在GSM8K上的性
符尧 | 复杂推理：大语言模型的北极星能力
zenRRan的博客
05-04 980
符尧 yao.fu@ed.ac.uk twitter英国爱丁堡大学 & 艾伦人工智能研究所感谢艾伦人工智能研究所 彭昊，Tushar Khot 的深入讨论2023 年 4 月 30 日开始写作，完稿于 2023 年 5 月 3 日与 GPT-4 交互翻译为中文知乎：https://zhuanlan.zhihu.com/p/626533715英文原文：https://yaofu.notion...
Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记...
zenRRan的博客
02-27 8997
来自：老刘说NLP进NLP群—>加入NLP交流群Meta最近提出了LLaMA(开放和高效的基础语言模型)模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞争性。Meta表示，该模型在数以万亿计的token上进行训练，并表明有可能完全使用公开的数据集来训...
GPT-4拿下最难数学推理数据集新SOTA！新型Prompting让大模型推理能力狂升！
阿木寺的博客
05-15 698
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信技术交流群转载自：机器之心模拟人类推理过程，华为诺亚提出 Progressive-Hint Prompting (PHP) 引导大模型渐近正确答案。近期，华为联和港中文发表论文《Progressive-Hint Prompting Improves Reasoning in Larg...
最近LLaMA系模型发展如何？指令微调的核心问题又是什么？
gzq0723的博客
07-02 490
点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式计算机视觉研究院专栏Column of Computer Vision Institute符尧（yao.fu@ed.ac.uk），爱丁堡大学 (University of Edinburgh) 博士生，本科毕业于北京大学。ChatGPT 大火之后，在 2023 年 2 月 24 日，LL...
从ChatGLM2-6B来看大模型扩展上下文和加速推理相关技术
wshzd的博客
08-13 1074
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：更强大的性能：基于 ChatGLM 初代模型的开发经验，全面升级了 ChatGLM2-6B 的基座模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值