Re44：数据集 GSM8K 和 论文 Training Verifiers to Solve Math Word Problems

已于 2024-06-13 09:56:26 修改
阅读量4k 收藏 12
点赞数 4
分类专栏： 人工智能学习笔记 文章标签： transformers 自然语言处理 LLM 大规模预训练语言模型 GSM8K MWP 数值推理
于 2023-09-01 15:36:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/132563814
版权

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名：Training Verifiers to Solve Math Word Problems
GSM8K数据集原始论文

OpenAI 2021年的工作，关注解决MWP问题（具体场景是小学（grade school）数学题），训练模型关注其错误，重复尝试，直至找到正确解法。
因此本文训练verifier检测解决方案是否正确。
在小模型上，verifier可以使模型提升到与大模型靠近的程度。
数据集越大，verifier效果越好。小数据集上没用。

论文ArXiv链接：https://arxiv.org/abs/2110.14168

官方GitHub项目：openai/grade-school-math

官方博文：https://openai.com/research/solving-math-word-problems

verifier这个想法当然很好，除了成本看起来就很高之外……
另外就是看论文中的暗示，这个优秀的模型效果也是靠调参调出来的啊。哎调参嘛本来就是建模的一部分，我一点都没有在酸！
2024.5.26补：我复现完代码跟网友讨论了一下发现论文里很多地方说得非常含混。总之这个idea也许是可资借鉴的，但是这个代码是别指望能完全复现的。我的复现方案是可供参考的。
有些复现过程中的思考内容内容我补在本文了

文章目录

1. GSM8K数据集

含8.5K条数学题。
7.5K训练集，1K测试集

每个问题需要2-8步推理来求解。

数据集中的解法都是自然语言形式的。

在这里插入图片描述

此外还提供了一种“苏格拉底式提问”的数据（虽然在论文中压根没提这茬）：

A carnival snack booth made $50 selling popcorn each day. It made three times as much selling cotton candy. For a 5-day activity, the booth has to pay $30 rent and $75 for the cost of the ingredients. How much did the booth earn for 5 days after paying the rent and the cost of ingredients?
How much did the booth make selling cotton candy each day? ** The booth made $50 x 3 = $<<50*3=150>>150 selling cotton candy each day.
How much did the booth make in a day? ** In a day, the booth made a total of $150 + $50 = $<<150+50=200>>200.
How much did the booth make in 5 days? ** In 5 days, they made a total of $200 x 5 = $<<200*5=1000>>1000.
How much did the booth have to pay? ** The booth has to pay a total of $30 + $75 = $<<30+75=105>>105.
How much did the booth earn after paying the rent and the cost of ingredients? ** Thus, the booth earned $1000 - $105 = $<<1000-105=895>>895.

质量控制是纯人工完成的，我好羡慕啊……
数据集是找人写了1000条（先用few-shot prompted 175B GPT-3 model生成seed问题），然后用Surge AI自动打标扩展，然后找人进行验证。
calculator annotation是由硬编码的逻辑和LLM联合生成的，在训练时就放在一起训练，在测试时直接用calculator（eval()）重算答案（在检测到=出现后，调用calculator，计算figure 1中的红色部分左式，得到计算答案，覆盖红色部分），如果出现非法表达式将直接重新抽样
在这里插入图片描述

2. verifier

本文认为，LM的一个重要问题就在于容易因小错而产生失误（sensitivity，或者说不鲁棒），这是因为LM生成过程是autoregressive的，所以无法对之前生成的内容进行纠错。

verifier：评估模型生成解法的正确程度（token-level评估输出是否正确 + 联合训练语言模型目标函数）
verifier由generator初始化
（原理：分类一般比生成任务简单）
（存在推理错误，但是结果正确的场景）
在训练时同时训练验证任务和语言模型任务（训练时两种数据一样多，相当于对语言模型数据的100倍上采样）
在这里插入图片描述
2024.5.26再补一下：我复现代码的时候LM学习目标加了mask，verifier学习目标忘加了。但是这个好加如果你们要复现的话自己加一下得了。
这个什么方法，细节又多，讲得又含混，又没给复现代码，真难整。
真受不了OpenAI啊，这里面有什么核心机密不能讲吗，我也没看GPT-4比其他几个大模型计算数学题的能力强到哪里去啊，有什么核心科技！

在测试时，让模型生成100个解决方案，选择verifier排序最高的解决方案，作为输出。
（或许这个verifier也可以被叫做，模型聚合。加强版投票吧感觉。不知道以前机器学习那边做模型聚合有没有用过这种第二阶段的验证器（或者叫排序器？打分器）哈，应该有的吧）

2024.5.26补一下：这个打分机制论文里没提到底用的是什么打的分，我在复现时直接忘记这个排序机制了，直接让verifier输出一个答案的……我复现用的是token-level分类头，如果用的是solution-level分类头，直接用这个分数来作为整个solution的分数似乎还挺合理的，但是token-level的话……怎么算出solution-level的分来的？
网友的猜测是每个token的打分求平均（哦好怪）

本文主要考虑两种解决方案：微调和验证（具体计算都用的是calculator，训练2个epoch（原因见第3节讲的figure 3））

微调：微调GPT-3并采样低temperature（0）结果

验证：采样一堆temperature（0.7）结果（generator），然后给每个输出进行打分（verifier），选择分值最高的结果（generator和verifier的尺寸一样，语言模型目标一样）
验证在训练时选择标签，是如果这个采样结果得到了正确答案就算正确。有时推导过程错误，但能得到正确结果（假阳性），但是这个问题本文不解决。先训练出generator，用generator生成100倍verifier训练样本，用以训练verifier

在这里插入图片描述

之前的工作中，有类似做法的：

  1. (2020 SIGGRAPH MIG) Collaborative Storytelling with Large-scale Neural Language Models：抽样→排序，根据人工偏好得到训练信号
  2. (2021 EMNLP Findings) Generate & Rank: A Multi-task Framework for Math Word Problems：联合训练生成和排序

本文选择不同的生成器和验证器，是为了防止生成器过拟合（但是原则上也可以一起train）

3. 实验结果

  1. GPT-3直接微调，在不同的训练集大小和不同的模型参数上，基本呈现出大力出奇迹的标准结局：
    （这么大的模型还能算平均值和标准差，有钱真好啊）
    在这里插入图片描述
  2. 直接微调GPT-3后，test@N（N次测试中至少对一次）和迭代数之间的关系：test@1基本单调增长，但在测试集损失函数上过拟合；test@100迅速下降（本文认为是过拟合）
    在这里插入图片描述
  3. 必须要先生成自然语言解释，再生成最终答案。如果直接生成最终答案，结果会从20.6%直接降到5.2%
  4. 不同模型大小上verifier的实验结果（就算是OpenAI也没钱在175B的模型上算平均值和标准差了是吧）
    在小数据集上verifier没用可能是因为过拟合
    在这里插入图片描述
  5. ablation study
    图a我不太确定，我的理解是token-level指的是将整个自然语言结果的每一个token都和生成结果算损失函数，solution-level指的是只考虑最后生成的数值是否正确。也就是说token-level的分类头是对每个token都有输出的
    图b本文认为是因为模型了解语言分布有益于区别不同的生成结果
    图c的结论比较意识流，本文认为这说明verifier是模糊启发式直觉选手，而不是认认真真在做验证
    在这里插入图片描述
  6. 测试时的计算次数
    图a就是直接在测试结果中选打分最高的一项
    图b是选择排序最前的这么多测试结果，进行投票
    在这里插入图片描述
  7. dropout正则化是牛逼的，但是verifier更加牛逼
    residual dropout（transformer同款）因为GPT-3没有用dropout，所以本文在用dropout微调之前还加了用dropout预训练，以防数据漂移
    dropout概率是hyperparameters sweep搜出来的，牛逼吧……有钱真好啊……
    在这里插入图片描述
    这句话我是真没搞懂：Note that we increase the batch size for token-level verifiers by a factor of 4, to better handle the more difficult objective and the noise from dropout. 这是什么我不知道的理论吗？
  8. 附录B的这个超参是啥意思我也没搞懂：
    在这里插入图片描述
    超参设置：
    在这里插入图片描述
    （2024.5.26补：我复现时候没意识到verifier的损失函数居然是MSE，我直接用了BCE，因为我是当多标签分类来做了。MSE的逻辑就是让logit更靠近0/1
    我不清楚多标签分类和用0/1回归损失函数的区别哈……总之大家如果需要跑代码的时候注意一下这点）
  9. verifier可视化
    在这里插入图片描述

4. 复现

1. 官方GitHub项目内容整理

没有给出具体的实验代码，只给了一些参考工具脚本（都没有经过优化，“又不是不能用.jpg”）

  1. 数据集
    用于实验的数据：https://github.com/openai/grade-school-math/blob/master/grade_school_math/data/train.jsonl和https://github.com/openai/grade-school-math/blob/master/grade_school_math/data/test.jsonl
    苏格拉底式提问的数据：https://github.com/openai/grade-school-math/blob/master/grade_school_math/data/train_socratic.jsonl和https://github.com/openai/grade-school-math/blob/master/grade_school_math/data/test_socratic.jsonl
  2. 调用calculator的示例：https://github.com/openai/grade-school-math/blob/master/grade_school_math/calculator.py
  3. https://github.com/openai/grade-school-math/blob/master/grade_school_math/dataset.py：构建数据集的工具脚本
    小编其实还蛮好奇为什么要在前缀也计算损失函数的，意思是在纯微调时就直接微调整个LM吗……但是OpenAI这么干想必有他们的道理……所以我就这么写了┓( ´∀` )┏
  4. GPT-2微调的代码：https://github.com/openai/grade-school-math/blob/master/grade_school_math/train.py
  5. GPT-2推理的代码：https://github.com/openai/grade-school-math/blob/master/grade_school_math/sample.py

2. 直接跑一遍GPT-2微调

LLM的部分跟别的LLM其实差不多，只是GSM8K多了一个调用calculator的部分。

参考官方代码和transformers的新功能。

我在我自己的集成项目里已经实现了GPT-2微调在GSM8K上的代码：

数据集构建：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/GPT2DataSet.py

微调：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/finetune.py

推理：https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/test_w_calculator.py

3. GPT-2 + verifier

GPT-3毕竟没有开源，所以只能拿GPT-2当代餐了。

然后这个代码也我自己写的，不一定符合OpenAI的意思。而且我用的是117M的小小GPT-2 233，所以效果嘛……

第一阶段：训练generator https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/finetune.py

第二阶段：生成verifier训练集 https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/verifier2_generate_verifier_train_data.py

第三阶段：训练verifier
https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/verifier3_train_verifier.py

第四阶段：测试verifier生成效果
https://github.com/PolarisRisingWar/Math_Word_Problem_Collection/blob/master/codes/finetune/gpt2/test_w_calculator.py

复现过程中不足之处：① 没用GPT-3，首先我没有GPT-3。② verifier数据集其实应该是100 × MWP数据集那么多，我没跑完。③ 训练verifier的过程中用的是BCELoss而不是MSELoss。……怎么会是MSE啊真奇怪啊。④ 训练verifier的过程中没给verifier的学习目标加mask ⑤ 推理时应该用verifier采样100个样本然后打分打出最高分样本，我完全忘了这茬直接推理了。但俺也不知道这个verifier到底怎么打分的，solution-level的好理解，token-level的是咋回事？经与网友讨论，我们一致怀疑，是求平均。真是搞不懂他们OpenAI

本文撰写过程中参考的其他网络资料

  1. 【搬运】GSM8K 数据集介绍_x66ccff的博客-CSDN博客
AI 系统评估基准-基础数学（GSM8K）
百态老人的博客
01-08 1377
GSM8K是一个由OpenAI发布的数据集，有8.5K个高质量语言多样的小学数学问题组成。这些问题需要2到8个步骤来解决，解决方法主要是使用基本的算术运算（+ - / *）进行一连串的基本计算，以得出最终答案。虽然看起来很简单，但很多大模型的表现都不太好。在多项大模型的评估中，GSM8K都被作为重要的基础数学评估基准。
【AI 大模型论文中英双语阅读】让我们一步步验证 Let’s Verify Step by Step
AI天才研究院
09-22 630
最后，我们研究主动学习的影响。为了训练每个更大的奖励模型，我们选择 N 每个问题的样本 80% 是最有说服力的（根据 PRMselector ）错误答案样本，以及 20% 是剩下的最有说服力的样本（正确或错误的答案）。尽管我们有时会出现正确的解决方案（通过手动注入正确的解决方案或由于自动评分中的错误），但我们在此阶段收集的绝大多数标签都是错误的解决方案。我们发布了 PRM800K，这是用于训练我们最先进的奖励模型的人类反馈的完整数据集，希望消除这一重大的进入障碍将促进大型语言模型对齐的相关研究。
Training Verifiers to Solve Math Word Problems翻译
nopSled
11-10 1641
摘要 最优的语言模型可以在许多任务中匹配人类性能，但它们在执行多步数学推理上仍然困难。为了诊断当前模型的缺陷，并支持科学研究，我们引入了GSM8K，是一个高质量的8.5k大小的小学数学单词问题的数据集。我们发现即使是最大的transformer模型也无法达到高的测试集性能，尽管该问题分布的概念很简单。为了提高性能，我们提出训练verifiers来判断模型解答的正确性。在测试期间，我们生成许多候选解决方案，并选择verifiers排名最高的解决方案。我们证明，verifiers能显着提高模型在GSM8K上的性
优雅的从huggingface上下载文件
ooblack的博客
02-25 675
【代码】优雅的从huggingface上下载文件。
GSM8K数据集分享
yinizhilianlove的博客
03-09 1567
GSM8K数据集分享
【搬运】GSM8K 数据集介绍
热门推荐
x66ccff
10-27 2万+
GSM8K 数据集是由 OpenAI 发布的小学数学题数据集，现将对 GSM8K 数据集的项目主页翻译如下。
探索阿里云计算巢中的GSM8K数据集：开启小学数学智能问答新篇章
BJleiyang的博客
02-18 1413
这个高质量的数据集涵盖了8500多个小学数学词汇问题，专为支持多步推理及解决基本数学问题的任务而设计，为推动人工智能在数学教育领域的应用提供了有力支撑。计算巢官方提供了一个钉钉群，我们可以加入到群中直接跟阿里云官方人员进行交流，他们会非常迅速的帮我们更新数据集，之前我一直想要的wiki数据跟他们反馈后几个小时就给我上架了，速度感人～泪目～总之，阿里云计算巢的GSM8K数据集凭借其丰富的内容和严谨的结构设计，为研究者们构建和优化能够理解并解决复杂小学数学问题的AI模型提供了宝贵的资源。
大语言模型-教育方向数据集
CSPhD-winston的博客
09-19 866
大语言模型-教育方向数据集。
Plan-and-Solve提示:改进大语言模型的零样本思维链推理
步子哥的博客
07-20 585
我们引入了PS提示,这是一种新的零样本CoT提示方法,它使LLMs能够在为输入问题预测最终答案之前,显式地制定解决给定问题的计划并生成中间推理过程。与之前的少样本CoT方法不同,零样本PS提示方法不需要演示示例,其提示仅包括问题本身和一个简单的触发句。步骤1:提示首先使用提出的提示模板进行推理,生成推理过程和问题的答案。步骤2:使用答案提取提示来提取用于评估的答案,例如"因此,答案(阿拉伯数字)是"。
专家混合Mixtral of Experts [论文翻译]
强化学习曾小健
07-09 764
我们引入，一种稀疏专家混合 (SMoE) 语言模型。Mixtral 具有与 Mistral 7B相同的架构，不同之处在于每层由 8 个前馈块（即专家）组成。对于每个词符，在每一层，路由器网络都会选择两个专家来处理当前状态并组合他们的输出。尽管每个词符只看到两个专家，但每个时间步选择的专家都可能不同。因此，每个词符token可以访问 47B个参数，但在推理过程中仅使用13B 个活动参数。Mixtral 使用32k 令牌的上下文大小进行训练，在所有评估的基准中，它的性能优于或匹配。
【评测篇】如何评估 LLM：大型语言模型评估方法全解析与综述
最新发布
大F子的智能小课
02-26 268
随着ChatGPT、GPT-4等大型语言模型（LLMs）的爆发式发展，如何科学评估模型性能成为学术界和工业界的核心议题。论文《A Survey on Evaluation of Large Language Models》系统梳理了LLMs评估的框架与方法。三个层面深度解读其核心观点，并深入扩展技术实现细节与前沿方法，为开发者提供可落地的参考方案。论文提出LLMs评估需围绕。
LLMs之Gemma：gsm8k_eval.ipynb文件解读——通过构建基于问题-答案对的 prompting 模式来评估Gemma模型在GSM8K数据集上的表现水平
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-22 2281
​ LLMs之Gemma：gsm8k_eval.ipynb文件解读——通过构建基于问题-答案对的 prompting 模式来评估Gemma模型在GSM8K数据集上的表现水平 目录 核心步骤 使用Gemma对GSM8K进行评估 一、安装与下载 二、加载模型、数据集进行模型评估 核心步骤 >> 通过Kaggle下载Gemma模型的权重文件，作为本次评估的基础模型。 >> 加载和预处理GSM8K数据集，将训练集和测试集分离。 >> 定义一些辅助函数，如找出字符串中的数字，提取答案等。
输入GSM8K数据集对Llama2-int4模型进行性能评估
weixin_46532327的博客
12-05 1229
ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 是一种用于评估自动生成文本与参考文本之间相似度的指标，广泛应用于自然语言处理（NLP）任务，尤其是在文本生成、摘要生成、翻译等任务中。ROUGE 指标主要通过计算生成文本和参考文本之间的n-gram重合度来衡量文本的质量。ROUGE 包含多个子指标，常见的有 ROUGE-1、ROUGE-2 和 ROUGE-L。
gsm-8k的初认识
weixin_47858325的博客
03-19 1288
GPT-4的gsm-8k的数据集
论文笔记 | Learning Fine-Grained Expressions to Solve Math Word Problems
Firmiana1220的博客
03-13 945
这篇文章是腾讯人工智能实验室发表在EMNLP 2017上的文章，基于细粒度的模板解数学应用题。 文章目录贡献点整体思路1. 模板归纳 sketch for template2. 训练过程3. 测试过程分析 贡献点 学习问题文本到模板片段的映射，充分利用模板的信息。 为每个模板自动构建sketch。 实现了一个两阶段的系统，包括模板检索和对齐排序。 整体思路 总结下来，该工作主要分为三个部分： ...
大模型是否具备推理能力？解读苹果新论文：GSM-Symbolic和GSM8K
weixin_41496173的博客
10-29 1029
在人工智能领域，大模型的推理能力一直备受关注。OpenAI的GPT-4和其他大模型的表现令人惊叹，但究竟是否具备真正的数学推理和抽象逻辑能力？最近，苹果的研究人员发表了一篇题为“GSM-Symbolic：理解大语言模型中数学推理的局限性”的论文，深度分析了大模型的数学推理表现，揭示了其在抽象逻辑和推理任务上的局限性。本文将详细解读这篇论文，并探讨目前主流模型在逻辑推理方面的核心问题。
符尧 | 复杂推理：大语言模型的北极星能力
zenRRan的博客
05-04 1158
符尧 yao.fu@ed.ac.uk twitter英国爱丁堡大学 & 艾伦人工智能研究所感谢艾伦人工智能研究所 彭昊，Tushar Khot 的深入讨论2023 年 4 月 30 日开始写作，完稿于 2023 年 5 月 3 日与 GPT-4 交互翻译为中文知乎：https://zhuanlan.zhihu.com/p/626533715英文原文：https://yaofu.notion...
论文导读 | 增强大模型的数学能力
weixin_48167662的博客
05-17 1838
数学能力是人类智能的一项基础技能，在自然科学、计算机科学、医学、金融等不同领域都发挥重要作用。因此也是现在评价大模型能力的重要指标。现在评价大模型数学能力最常用的两个评测数据集分别是MATH和GSM8KMATH数据集是一个由加州大学伯克利分校的研究团队开发的新数据集，专门用于衡量机器学习模型解决数学问题的能力。该数据集包含12,500个来自高中数学竞赛的挑战性问题，每个问题都有一个完整的逐步解决方案，这使得模型可以学习如何生成答案推导和解释。MATH数据集的问题覆盖了七个主要的数学领域，包括代数、几何、数论
从ChatGLM2-6B来看大模型扩展上下文和加速推理相关技术
wshzd的博客
08-13 1170
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：更强大的性能：基于 ChatGLM 初代模型的开发经验，全面升级了 ChatGLM2-6B 的基座模型。
Rubygem 验证工具：本地与在线副本同步检查
资源摘要信息:"RubyGems Incident Verifiers" RubyGems Incident Verifiers 是一系列工具，其设计目的是为 Ruby gem（Ruby 的包管理器）的所有者提供一种方法，使他们能够对本地的 gem 文件与其在 *** 上托管的版本...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值