ACL 2023 | 使用语言模型解决数学推理问题的协同推理框架

最新推荐文章于 2024-10-04 22:36:54 发布

PaperWeekly

最新推荐文章于 2024-10-04 22:36:54 发布

阅读量193

点赞数

文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/132255568

版权

研究发现，即使是6B参数的GPT-J，通过协同推理框架CoRe，也能在数学推理任务上与千亿参数的LLMs相媲美。CoRe借鉴人类双系统理论，用generator和verifiers模拟快思考和慢思考，结合MCTS算法，提升了推理质量和效率。经过Self-Thinking过程，模型在GSM8K等数据集上表现优异，证明了小模型也能解决复杂推理问题。

摘要由CSDN通过智能技术生成

©PaperWeekly 原创 · 作者 | 朱欣宇

单位 | 清华大学

研究方向 | 自然语言处理

论文标题：

Solving Math Word Problems via Cooperative Reasoning induced Language Models

论文链接：

https://arxiv.org/abs/2210.16257

代码链接：

https://github.com/TianHongZXY/CoRe

Language Models 解决推理任务

过去的一年里，使用语言模型来解决各种各样的推理问题变成了一个非常火热的研究课题，出现了许多非常简单，但效果惊人的方法，特别是以 Chain of Thought [1]（CoT）系列为代表的 prompt design 工作。

后续的改进工作层出不穷，比如将原始 CoT 中的构建 few-shot 例子所需的人工成本降为只需要一句 “Let's think step by step” 的 Zero-shot CoT [2]，使用聚类方法自动化构建 few-shot 例子的 auto-CoT [3]，这些 prompt + Large Language Models（LLMs）的工作可以说掀起了使用 LLMs 做推理任务的热潮。

然而，这些工作的惊人效果很大程度上依赖于 LLMs 本身的强大能力，正如 CoT 原文中指出的那样，在较小的语言模型（< 10B 参数）上，CoT 的提升并不明显，甚至有下降。Chain of Thought hub [4] 中的排行榜也清晰地指出了开源模型与 OpenAI，Anthropic 的闭源模型在复杂推理任务（特别是数学推理）上的差距，正如项目主页中写的那样：“chit-chat is cheap, show me the reasoning”。

尽管也有一些专注于提升较小的语言模型推理能力的工作，如 STaR [5]，但是这种提升仅在相对简单的常识推理任务上较为明显，在难度更大的数学推理上，比如知名的 GSM8K 数据集，提升效果并不理想，使用一个 6B 参数的 GPT-J，仅能达到 10.7 的 accuracy，与 CoT + LLMs 有着相当大的差距。看起来，一个只有几十亿参数的语言模型似乎不可能在困难推理问题上取得与那些上千亿参数的模型相当的性能，难道复杂推理任务真的仅仅是大模型的游戏吗？

在我们这篇名为 CoRe 的工作中，我们证明了这并不是真的，即使是只有 6B 参数的语言模型，也可以在适当的引导下生成高质量的推理路径，同时这些优秀的例子可以被用作模型的进一步训练，达到更高的推理水平。我们的实验表明，像 GPT-J 这样大小的模型在数学推理任务