ChatGLM-Math：强化数学能力_chatglm-maths大模型-CSDN博客

本文链接：https://blog.csdn.net/weixin_43564920/article/details/138585091

大型语言模型（LLM）在文本摘要、问答和角色扮演对话等语言任务上表现出色，在数学推理等复杂问题上也具有应用潜力。

但目前提高 LLM 数学问题解决能力的方法，往往会导致其他方面能力的下降。例如RLHF的方法，虽然可以提高文本生成的质量，但却会忽略解决数学问题所需要的准确性和逻辑连贯性，而 SFT 微调，则可能降低大模型本身的语言多样性。

针对这一问题，我们提出了一种「Self-Critique」的迭代训练方法，通过自我反馈的机制，可以使 LLM 的语言能力和数学能力得到同步提升。

图：基于 Self-Critique 方法，ChatGLM3-32B的传统学术数据集数学能力（GSM8k）和分布外测试集匈牙利国家数学考试分数（Hungarian Exam Score）都得到了的提升。

此外，为了更加准确地评估 LLM 解决现实世界数学问题的能力，我们开发了 MathUserEval 评测基准。

项目地址：https://github.com/THUDM/ChatGLM-Math

论文地址：https://arxiv.org/pdf/2404.02893.pdf

Self-Critique 的整体流程

Self-Critique 有三个步骤：

Math-Critique

我们工作的第一部分是构建一个准确而稳健的评估模型。基于对大模型评估的启发，我们提出了 Math-Critique 的方法。Math-Critique 将根据问题和参考答案，对模型生成的数学响应进行评分，并给出评分的解释。

Math Critique 的模型可以定义为：

MathCritique（问题，参考答案，答案）-> （评分，解释评论）

在指令中，Math-Critique 会将响应结果分为四个类别：完全错误、部分正确但结果错误、部分错误但结论正确、完全正确。这些类别与 1-2、3-5、6-8 和 9-10 的评分范围相对应。

我们使用两种 Math-Critique 的评估方法：平均分数评估和硬分隔评估。前者计算给定问题集的每个模型答案分数的平均值；后者基于预定义的阈值将每个模型答案分类为通过或失败，超过阈值即为正确，反之为错误。

利用 MathCritique，我们为训练集生成了 5k 个带有注释的数据；并生成 800 个注释数据作为测试集。

Critique-RFT

我们使用了基于 Math-Critique 的拒绝采样方法，重新审查和重新设计了RFT的实现，并发现在拒绝采样过程中，采样范围和模型都会影响结果。具体来说，我们设计了以下采样原则：

预去重：从训练集中对问题嵌入进行聚类，并在各个类别中均匀采样，确保在没有重复的情况下获取各种类型的问题。
后采样去重：我们在数学批评的结果基础上，在5-10个采样迭代之后进行了选择过程。在必要的去重之后，我们只在同一问题存在正确和不正确回答的情况下选择完全正确的回答。

Critique-DPO

我们采用了DPO方法，以进一步增强模型能力，遵循Critique-RFT。该方法的主要优点在于在构建数据流、稳定性和训练速度方面的简单性。DPO方法直接比较了相同问题的正确和错误答案。

在我们的方法中，这两个答案都是从经过RFT后的模型中采样得到的，我们发现这一点至关重要。我们还在训练过程中集成了 DPO 正例的 SFT 损失，作为正则化项的近似替代。我们的 DPO 数据过滤过程类似于 Critique-RFT，唯一的区别在于 DPO 训练对的构建方法。在至少存在一个正确和一个错误答案的前提下，我们选择评分结果差异最大的数据对作为 DPO 对的选择。