大语言模型推理策略全解析，通向 AGI 的关键一步！零基础小白收藏这一篇就够了！！-CSDN博客

本文链接：https://blog.csdn.net/2401_85325397/article/details/146938390

前言

在人工智能飞速发展的当下，大语言模型（LLMs）凭借强大的语言处理能力，成为了迈向通用人工智能（AGI）征程中的焦点选手。但你知道吗？LLMs 在语言能力上虽然表现卓越，可一旦涉及复杂推理任务，就会暴露出明显短板。今天，咱们就深入研读《Thinking Machines: A Survey of LLM based Reasoning Strategies》这篇综述论文，一起探寻提升 LLMs 推理能力的奥秘，看看它们离真正的 “思考” 还有多远。

一、LLMs 推理能力的现状与挑战

从认识论角度看，“推理” 是人类基于证据或前提得出结论的能力，它让我们能思考、获取知识并做出明智决策。GPT-3 曾展现出初步推理和指令跟随能力，后续的 ChatGPT、GPT-4 更是在多项任务中表现出色，思维链提示法的出现，让模型能将复杂问题拆解为多个步骤逐步解决，使得 GPT-4 被认为有了 “AGI 的火花”。

然而，研究发现 LLMs 在结构化基准测试中的推理，并非真正意义上像人类一样思考。以复杂数学证明为例，LLMs 在缺乏额外指导时，很难将问题分解并迭代优化解决方案。尽管模型不断扩大规模，推理能力的提升却愈发困难，OpenAI 的 o1 模型参数数量与 GPT-3.5 相同，却在数学和推理任务上超越了规模大 10 倍的 GPT-4，这表明单纯扩大预训练规模收益在递减，促使研究人员寻找创新方法来激发 LLMs 的真正推理能力。

二、提升 LLMs 推理能力的方法

（一）强化学习

在基于推理的系统中，强化学习旨在让智能体（这里就是 LLM）通过与环境交互，选择期望奖励最高的路径，这些路径中的中间步骤就是推理步骤。这一策略主要分为以下几类：

言语强化

基础语言模型结合记忆（上下文或外部记忆）根据提示生成行动轨迹，该行动会被输入到环境中，由基于语言模型的评估器和自我反思器以自然语言形式提供反馈，反馈信息存储在记忆中，用于指导后续生成。像 ReAct 和 Reflexion 框架，就通过这种方式增强模型推理能力。
基于奖励的强化
- 过程监督
  
  这种方式会根据每个推理步骤对形成最优推理链的相关性进行单独奖励，让模型能得出更连贯的最终答案。例如 DialCoT 利用 PPO 激发模型的思维链推理，将问题拆分为多个子问题分别奖励；VinePPO 则通过蒙特卡罗模拟中间步骤改进 PPO 算法，提升计算效率和准确性。但获取过程监督数据难度大，训练价值网络成本高，因此研究人员引入直接偏好优化（DPO），直接利用正负偏好数据对更新模型策略，但 DPO 在推理任务上存在不足。后来，研究者将过程监督与偏好优化结合，利用 MCTS 生成中间状态偏好对，改善推理效果。
- 结果监督
  
  尽管有研究表明过程监督优于结果监督，但像 Deepseek - R1 这样仅依赖结果奖励的模型却表现出色，GRPO 算法也通过在策略更新时用组相对分数替代价值网络，对 PPO 进行了改进。此外，还有研究通过合成数据训练逐步式结果奖励模型（s - ORM），解决传统奖励模型的稀疏奖励和信用分配问题。
搜索 / 规划

强化学习中的搜索技术主要利用蒙特卡罗树搜索（MCTS）及其变体，通过模拟未来结果来指导决策。在 AlphaGo 中，MCTS 与价值和策略网络结合探索潜在棋步，这一思路被应用到数学等领域。价值网络可通过 MCTS 滚动采样收集的偏好数据或蒙特卡罗估计总体奖励进行训练。现在，将 LLMs 视为世界模型的框架也开始出现，结合 MCTS 等搜索策略探索潜在解决方案。

（二）测试时计算

现代 LLMs 推理能力虽强，但固定参数和静态推理限制了它们在新任务或复杂任务中的实时适应能力。测试时计算旨在克服这些限制，在部署阶段让模型优化或扩展推理能力，且预训练的 LLM 不会通过监督学习或强化学习进行训练。主要包括：

反馈引导改进
- 生成时反馈
  
  LLM 在生成过程中接收反馈，可分为步反馈（SF）和结果反馈（OF）。步反馈利用束搜索或 MCTS，在推理过程的每一步由评估模块提供反馈，保留得分最高的推理链；结果反馈则是生成多个结果后由外部评估模块打分，仅保留最高分的结果。基于此，有多种模型被提出，比如以代码执行作为评估的 CodeT 和 LEVER，以外部知识作为评估的 MemPrompt，还有以训练模型作为评估的 GRACE 和 CoRE 等。
- 事后反馈
  
  基础 LLM 生成输出后，可用单独模型进行事后优化。如 LLM - Based Debate，让 LLMs 分别扮演考生和考官进行多轮辩论来改进答案；还有利用训练模型反馈和优化的方法，通过标量值或自然语言反馈在推理阶段修正生成的响应，生成 - 评估 - 优化的流水线在近期受到广泛关注。
扩展测试时计算
- 扩展令牌计算
  
  通过并行生成多个中间令牌输出（推理步骤），探索多种合理推理路径，如思维链（CoT）提示法及其变体。树状思维（ToT）可同时探索多个推理分支并选择最佳分支，森林状思维（FoT）利用稀疏激活选择相关推理路径，图状思维（GoT）通过图操作聚合和优化思维，缓冲思维（BoT）则引入元缓冲区存储高级元思维。此外，还可将搜索与 CoT 相结合，如 CoT with search 利用验证器检查推理步骤的可推导性，减少错误积累。
- 自我反馈
  
  一是自然语言自我反馈，Selfrefine 通过同一 LLM 生成自然语言反馈来优化推理过程，Weng 等人提出的方法则是让 LLM 对多个采样答案打分，选择得分最高的作为最终答案。二是将自我反馈作为树搜索的分数，如 Zhu 等人提出的解码算法利用自我反馈进行束搜索推理，MCTS 结合 LLM 引导的自我反馈也能提升推理效果。ReVISE 则是一种结合自我训练和测试时扩展的混合方法，利用结构化偏好学习和置信感知解码机制，提升模型性能。