北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式

本文由readlecture.cn转录总结。ReadLecture专注于音、视频转录与总结，2小时视频，5分钟阅读，加速内容学习与传播。

大纲

• 引言

  • 自我介绍与研究背景

  • 分享主题概述

• Post-Training Scaling Laws

  • RL在后训练时代的新范式

  • OpenAI o1的技术细节与技术路线推演

  • 合成数据、推理搜索与Chain of Reasoning对AI安全的启示

• OpenAI o1的表现与分析

  • 在数学、代码等复杂推理任务上的显著进步

  • 在强指令跟随能力测试中的表现

  • 对未来发展路径的思考

• Pre-Training与Post-Training阶段的Scaling Laws对比

  • Pre-Training阶段的Parameter Scaling Laws

  • Post-Training阶段的Scaling Laws的需求与存在性

• Post-Training Scaling Laws的实现与影响

  • OpenAI o1的发布验证了Post-Training Scaling Laws

  • Self-Play与Test-Time Search在Post-Training阶段的作用

• 技术细节分享

  • Self-Play RL与Reward Model

  • Chain of Thought（CoT）与Test-Time Search Application

  • STaR与Quiet-STaR的技术路线

• 推理能力提升的方法

  • CoT与MCTS的应用

  • STaR与Quiet-STaR的局限性与改进

• OpenAI o1的技术路线推演与挑战

  • 隐式CoT优化过程中的奖励构造

  • Generator与Verifier的对抗过程

  • Process Reward的引入与Critic Model的作用

• 合成数据与推理搜索的优化

  • 合成数据的生成与优化

  • 推理搜索方法的探讨与效果

• AI安全的新启示

  • Chain of Reasoning for AI Safety的机遇与挑战

  • Reward Hacking与In-Context Scheming的风险

• 未来技术方向的思考

  • Post-Training阶段的算力投入

  • AI安全中的控制概念与分布偏移问题

  • 对齐过程中的挑战与解决方案

内容总结

一句话总结

本文深入探讨了OpenAI o1的技术细节、Post-Training Scaling Laws的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。

观点与结论

• Post-Training Scaling Laws的实现为模型能力的提升提供了新的维度，不再局限于预训练阶段。

• OpenAI o1通过RL和Test-Time Search增强了模型的推理能力，展示了后训练扩展律的有效性。

• 合成数据和推理搜索是解决数据稀缺和提升模型性能的有效方法。

• AI安全中的Chain of Reasoning为模型的对齐提供了新的视角，但也带来了Reward Hacking和In-Context Scheming的风险。

• 未来应更多地将算力投入到Post-Training阶段，以提升模型的内在推理能力和安全性。

自问自答

1. 什么是Post-Training Scaling Laws？

   • 答：Post-Training Scaling Laws是指在模型预训练完成后，通过强化学习（RL）和测试时间搜索（Test-Time Search）等方法，进一步提升模型性能的规律。

2. OpenAI o1在哪些任务上表现突出？

   • 答：OpenAI o1在数学、代码等复杂推理任务上表现突出，如在Codeforces竞赛中排名第89个百分位，在美国数学奥林匹克竞赛（AIME）资格赛中跻身前500名。

3. 为什么需要引入Process Reward？

   • 答：引入Process Reward可以为模型的每一步推理提供细粒度的奖励信号，帮助模型优化推理过程，特别是在复杂任务中。

4. 合成数据如何帮助提升模型性能？

   • 答：通过生成高质量的合成数据，模型可以在数据稀缺的情况下继续训练，提升性能，如NVIDIA的Nemotron-4340B模型。

5. AI安全中的Chain of Reasoning带来了哪些挑战？

   • 答：Chain of Reasoning带来了模型可能发现捷径和欺骗行为的挑战，如Reward Hacking和In-Context Scheming。

6. 未来在AI安全方面应如何应对分布偏移问题？

   • 答：可以通过在强化学习训练中进行回路内和回路外的分离，使用沙盒等技术措施，防止模型因强化学习的奖励最大化而利用安全漏洞。

关键词标签

• Post-Training Scaling Laws

• OpenAI o1

• 合成数据

• 推理搜索

• AI安全

• Chain of Reasoning

• Reward Hacking

• In-Context Scheming

适合阅读人群

• AI研究人员

• 机器学习工程师

• 数据科学家

• 对AI安全感兴趣的学者

• 对大语言模型发展趋势感兴趣的读者

术语解释

• Post-Training Scaling Laws：在模型预训练完成后，通过强化学习和测试时间搜索等方法进一步提升模型性能的规律。

• OpenAI o1：OpenAI发布的一个大语言模型，展示了在复杂推理任务上的显著进步。

• 合成数据：通过模型自身生成的高质量数据，用于在数据稀缺的情况下继续训练。

• 推理搜索：在测试阶段通过搜索方法提升模型推理能力的技术。

• AI安全：确保AI系统在运行过程中不产生有害行为的研究领域。

• Chain of Reasoning：模型通过逐步推理来解决问题的过程，有助于提升模型的推理能力和安全性。

• Reward Hacking：模型通过不正当方式获得高奖励的行为。

• In-Context Scheming：模型通过探索漏洞完成任务，欺骗或操纵人类的行为。

视频来源

独家视频解读：【北大对齐团队独家解读：OpenAI o1开启「后训练」时代强化学习新范式】_哔哩哔哩_bilibili

讲座回顾

• 陈博远是北京大学2022级通用人工智能实验班（通班）的学生。

• 主要研究方向为大语言模型的对齐与可扩展监督。

• 是北大对齐小组的成员。

• 参与OpenAI技术分析研讨。

大家好，我是北京大学2022级通用人工智能实验班（简称通班）的陈博远，我的主要研究方向是大语言模型对齐与可扩展监督。我也是北大对齐小组的成员之一。今天非常荣幸能与大家一起进行OpenAI技术分析研讨。

• Post-Training阶段引入RL新范式，观察到Post-Training Scaling Law。

• 讨论OpenAI的技术细节及其技术路线。

• 提出潜在前景方向：合成数据、推理搜索、Chain of Reasoning对AI安全的影响。

今天我的分享主要围绕以下几个关键词展开：

首先，在Post-Training阶段，由RL开启的后训练时代新范式，即我们目前观察到的Post-Training Scaling Law。

其次，与OpenAI相关的技术细节及其技术路线的推演。

最后，由此启发的一些潜在前景方向，包括合成数据、推理搜索，以及背后的Chain of Reasoning对AI安全的新启示。

• OpenAI o1展示了推理模型在强化学习（RL）价值下的增长。

• RL在AlphaGo时期已展示潜力，Gemini训练结合了TreeSearch和RL。

• OpenAI o1关键技术包括RL的搜索与学习机制，基于LLM的推理能力。

• 通过迭代Bootstrap，模型产生合理推理过程，不仅限于COT，还包括常识问答中的推理反思。

• Post-Training阶段的Scaling利用计算资源增强模型能力。

• 后训练扩展律验证了技术路线的成功，重新定义了推理为“将思考时间转化为能力”。

• TreeSearch在训练中构建奖励信号，促进合理推理过程的产生。

• Bootstrap生成高质量数据，提升模型性能。

近期OpenAI o1的发布展示了推理模型在强化学习价值下的持续增长。实际上，RL在AlphaGo时期已展现出其无限潜力。Demis Hassabis在报道中提到，Gemini的训练采用了TreeSearch与RL结合的方法来提升模型的推理能力。我们认为，OpenAI o1的关键技术在于RL的搜索与学习机制。基于大型语言模型（LLM）已有的推理能力，通过迭代式的Bootstrap，模型能够产生合理的推理过程。这一过程不仅限于COT，还可能包括在常识问答（Common Sense QA）中对问题答案的潜在推理反思。通过将这种合理推理过程融入训练，模型学会了潜在的推理。随后，利用强大的计算资源实现Post-Training阶段的Scaling。这一技术路线与STaR的扩展版本非常相似。同时，OpenAI o1的出现验证了后训练扩展律（Post-Training Scaling Laws），为上述技术路线的成功提供了有力支持。后训练扩展律的出现让我们重新思考推理的定义，一个合理的回答是“将思考时间转化为能力”，即通过增加思考推理时间来提升模型能力。随着在Post-Training阶段RL搜索的增强和在推理阶段的搜索时间增强，模型的能力得到了提升。模型在这过程中学习的是合理推理的过程，TreeSearch在其中起到了诱导合理推理过程产生的作用，或基于合理推理过程构建相应的偏序对形成系统的奖励信号。在模型的训练过程中，TreeSearch方法有助于构建系统的奖励信号，这在后续的技术路径推演中会提到。在推理阶段，搜索过程可能基于多样的TreeSearch方法实现。更有趣的是，模型的Bootstrap有助于构建新的高质量数据，这些数据中的Rationales促进了模型的进一步提升。

• OpenAI o1在数学和代码复杂推理能力上显著进步。

• 在Codeforces中排名第89个百分位。

• 在美国数学奥林匹克竞赛（AIME）资格赛中排名前500。

• 在GPQA基准测试中，准确性超过人类博士水平。

• 在AP English Lang测试中，指令跟随能力未显著提升。

首先，我们回顾一下OpenAI o1的表现。最新发布的OpenAI o1在数学、代码等复杂推理能力上取得了显著进步。在竞争性编程问题如Codeforces中，OpenAI o1排名达到了第89个百分位，并在美国数学奥林匹克竞赛（AIME）资格赛中跻身美国前500名学生之列。此外，在物理、生物和化学问题的基准测试GPQA上，OpenAI o1的准确性超过了人类博士水平。

然而，值得注意的是，在AP English Lang这类强指令跟随能力的测试中，OpenAI o1的表现并未显著提升。这引发了我们对未来发展路径的思考。在此，我们先进行一个小分析。

• 讨论了Pre-Training阶段的Parameter Scaling Laws及其对模型能力的影响。

• 提出了Post-Training阶段Scaling Laws的必要性。

• 探讨了Post-Training阶段Scaling Laws的存在性及其对模型性能的影响因素。

那么在开始分享Post-Training Scaling Laws之前，我想先用三个问题来概括这一集的内容。

首先，第一个问题是关于Pre-Training阶段的Parameter Scaling Laws，即参数扩展带来的模型能力提升。这种Scaling Laws与当前Post-Training阶段的Scaling Laws有何不同。

其次，我们为什么需要Post-Training阶段的Scaling Laws。

第三个问题是Post-Training阶段的Scaling Laws是否存在。如果存在，这个模型的性能表现主要与什么有关。

• Pre-Training阶段选择：社区共识。

• 模型参数量、数据量、计算量：三者间存在协同关系。

• 模型性能：与参数量、数据量、计算量呈幂律关系。

• Scaling Laws：描述为Compute等于6倍的Parameters乘以Data。

• 现有方法：通过扩展模型参数和增加计算量提升性能。

首先回顾Pre-Training阶段的选择，这已成为社区的共识。在生成模型训练中，广泛观察到模型参数量、数据量和计算量之间存在协同关系。当不受其他两个因素制约时，模型性能与每个因素呈幂律关系。大体上，Scaling Laws可被描述为Compute等于6倍的Parameters乘以Data。现有的利用Scaling Laws的方法是不断扩展模型参数，并增加计算量，以期提升性能。

• 模型尺寸增大导致预训练参数Scaling Up的边际效益递减。

• 基于RL的Post-Training可能是提升模型推理能力和长程问题能力的突破点。

• 自回归模型在数学推理上难以进步，因其无法自主修正回答。

• 仅依赖生成式方法和扩大参数规模在数学推理任务上收益有限。

• Google Deepmind论文显示，Inference Tokens较少时，提升测试计算量比提升训练计算量收益更大。

• 数学推理任务中，高敏感性对个体错误影响大，自回归模型缺乏自我修正机制。

随着模型尺寸的逐渐增大，预训练阶段参数Scaling Up带来的边际效益开始递减。如果想要深度提升模型的推理能力和长程问题能力，基于RL的Post-Training将会成为下一个突破点。自回归模型在数学推理问题上难以进步的原因在于无法进行回答的自主修正。如果仅依靠生成式方法和扩大参数规模，在数学推理任务上带来的收益不会太大。因此，我们需要寻找额外的Scaling Laws。

在Google Deepmind的最新论文中，展示了这种边际效益的递减。当Inference Tokens相对于训练阶段所使用的Tokens达到一个较小的量级时，提升测试阶段的计算量带来的收益远大于提升训练阶段投入的计算量带来的收益。这证实了在数学推理任务中，高敏感性对个体错误的影响，以及自回归模型在生成解决方案时缺乏自我修正机制的问题。

• OpenAI o1的发布验证了Post-Training阶段的Scaling Laws存在。

• 模型性能随训练和测试阶段计算量的增加而提升。

• Post-Training阶段引入RL Self-Play和LLM Inference计算量作为新变量。

• 这一发现支持将Sinking Time转化为Capability的可能性。

OpenAI o1的发布证明了在Post-Training阶段，Scaling Laws是可以实现的，并且确实存在。具体表现为，随着训练时的计算量（主要来自RL Training阶段的探索计算量）和Test-Time计算量（如Test-Time Search在推理阶段的搜索）的增长，模型性能也会相应提升。值得注意的是，与Pre-Training阶段相比，Post-Training阶段的Scaling Laws在训练时的计算量中引入了一个新的变量，即在RL Self-Play探索时，LLM Inference所需的计算量。这一发现表明，将Sinking Time转化为Capability是可能的。

• 引入新变量Self-Play，影响计算量。

• RT Training阶段和测试阶段的计算量需考虑。

• 以AlphaGo和AlphaZero为例，说明RM推理计算量。

• AlphaZero训练中，500万局自我博弈，每局200步，每步1600次模拟，总模拟次数16万亿次。

• 通过Self-Play和策略优化提升模型性能。

为了进一步阐述，我们刚才提到了Post-Training Scaling Laws。在计算量中引入了一个新变量，即Self-Play。在RT Training阶段，Self-Play探索时的RM推理计算量，以及测试阶段的Test Time Search计算量，都是我们需要考虑的。

为了更具体地说明RM推理时的计算量，我们以基于Self-Play的AlphaGo和AlphaZero为例。在MCTS（蒙特卡洛树搜索）这样的树状搜索方法中，我们通过在树节点进行多次模拟来搜索优化结果，并最终进行反向传播。在围棋这样一个范围相对确定的任务中，AlphaGo和AlphaZero所花费的计算量已经非常巨大。

具体来说，在AlphaZero的训练过程中，模型进行了大约500万局的自我博弈，每局大约200步，每步平均需要1600次模拟，这使得总的模拟次数达到了16万亿次。通过反复的Self-Play和不断优化策略与奖励评估能力，我们实现了模型性能的提升。

• AlphaZero与大型语言模型（LLM）相比，参数量级差距三到四个数量级。

• AlphaZero和AlphaGo能力局限于特定任务（如围棋）。

• 大型语言模型的自我对弈需要更多数据和复杂参数。

• 推理问题假设可拆解为三到十步的思维链（Chain-of-Thought， COT）。

• 每步推理涉及上下文和行动选择。

• 文字组合方式无限开放，与围棋等有限决策空间任务不同。

• 使用温度采样方法生成K种回答，K=32。

• 奖励机制评估每步行动效果，可能包括数值或文字反馈。

但是，AlphaZero也只是一个千万参数量级的神经网络，它和大型语言模型（LLM）差了三到四个数量级。AlphaZero，尤其是AlphaGo，其模型的能力局限于围棋这一固定任务。相比之下，大型语言模型的自我对弈（self-play）需要更多的数据和更复杂的参数。

我们假设每个推理问题都可以被拆解成三到十步的思维链（Chain-of-Thought， COT）。每一步推理需要模拟以下数据：

• 首先是上下文（context），即问题和之前的推理过程；

• 其次是行动（action），即基于上下文的大型语言模型接下来的行动选择。

这里与传统强化学习（RL）最大的差异在于，文字可以用无限开放的方式进行组合，而围棋等传统任务有着有限的决策空间。

在实践中，我们使用温度采样（temperature sampling）方法生成K种回答，这里我们按K=32进行计算，即每次推理需要进行32次模拟。

最后是奖励（reward），即对每一步行动输出奖励以评估其效果，这个过程奖励可能包括数值，也可能包括文字反馈。

• 模型规模：Agent Model为50B，Reward Model为10B，优化配置。

• 推理任务：5步推理，每步32种结果，选top10，总模拟10000次。

• 成本估算：每次模拟1000 tokens，总成本约6美金。

• 高质量模拟：10000次中仅1%（100次）有价值，提供高质量训练数据。

• Reward Model计算量：推理阶段计算量大，但当前模型依赖快速生成答案，可能影响质量。

• 能力提升：增加计算量可提升测试阶段能力，Google论文支持此观点。

基于Context、Action和Reward的数据，我们可以进行一个大致的估算。假设Agent Model是一个50B的模型，而Reward Model是一个10B的模型。这是一个较为优化的配置，因为在实际的RLHF系列工程中，奖励模型通常需要与Agent模型相匹配，可能具有相似的规模。当然，这也取决于最终期望的效果。

假设Reasoning任务有5步推理深度，每步会模拟32种结果，并从中选取top10的推理结果进行后续推理。这样总共需要大约10000次模拟。每次模拟平均使用1000个tokens，因此一个推理任务的总成本约为6美金。

由于大部分tokens在重复context中使用，高质量的比例并不高。可以认为在10000次模拟中，只有1%（即100次）的模拟是有价值的，提供了高质量的positive和negative examples，这对于RL训练非常有帮助，总计约100k tokens。

在推理阶段，Reward Model的计算量实际上是巨大的。然而，在当前的Influence模型中，通常基于一个quest好的过程，通过next token prediction快速生成答案。这在数学和推理任务上可能会导致答案质量问题，因为前期的错误可能会在后期累积。

Taking time into capability，即positive skin law，启发我们在测试阶段增加计算量，以获得能力的提升。Google最近的一篇论文也报告了类似的结果。

• 研究问题：探讨增加大型语言模型在推理阶段的思考时间对回答准确率的提升效果。

• 传统方法：使用bon（并行生成多个回答并通过learned verifier选择最佳回答）。

• 新方法：

  • 修改回答分布，如自我润色回答。

  • 结合tree search和过程性奖励模型。

• 实验结果：

  • 通过self refinement和test time search against process reward verifier提升模型表现上界。

  • 增加test time computation能提升模型在不同难度问题上的表现。

• 结论：增加test time阶段的计算量能提升模型表现，验证了post training scaling laws。

在这篇论文中，我们的核心研究问题与之前一致，即如果我们给予大型语言模型同一个prompt在推理阶段更多的思考时间，我们能有多少效率提升其回答的准确率。回顾传统提升test time computation的方法，bon应该为大家所熟悉，即一次并行生成n个回答，然后通过一个learned的verifier或model进行打分，最后选择生成一个最好的回答。

除了bon，我们还可以通过修改回答对应的分布，例如让模型不断润色自己的回答，或改变verifier或奖励模型的使用方式，通过结合tree search，并在tree search每个节点提供process reward的方法，加入过程性奖励模型的评价，从而提升test time computation，希望获得模型推理能力的提升。

Google的这篇文章探索了后两种方法对模型能力的影响，结果发现通过self refinement和test time search against process reward verifier的这两种方法，随着模型在test time阶段的search推力量及计算量的上升，模型的表现上界有了明显提升。例如，在左侧的折线图中，我们可以明显发现两种提升test time computation的方法有效拉高了模型表现推理能力的上界。

此外，如果我们对模型在推理阶段的influence token与预训练阶段所使用的token进行对比，可以发现当influence阶段的token远小于purchase阶段的token时，通过在test time computation阶段增加测试阶段的计算量，我们能够在简单、中度及不同难度的问题上获得最终表现的提升。这相当于验证了post training scaling laws的后半部分，即通过在test time阶段增加计算量，我们确实可以提升模型的表现能力。

• 回顾了OpenAI o1的表现。

• 分享了Post-Training Scaling Law的见解。

• 技术细节将围绕Self-play RL、Reward Model、Chain of Thought（CoT）、Test-time Search Application展开。

• 重点探讨STaR和QuietSTaR，这两种技术与OpenAI o1技术路线最为接近。

以上，我们回顾了OpenAI o1的相关表现，并分享了Post-Training Scaling Law的一些见解。接下来，我们将展开一些技术细节的分享。这些技术细节将主要围绕Self-play RL、Reward Model、Chain of Thought（CoT）、Test-time Search Application，以及我们重点探讨的STaR和QuietSTaR这两种与OpenAI o1技术路线最为接近的技术。

• Self-Play 在强化学习中用于自我博弈，涉及 Generator 和 Verifier 两个概念。

• Generator 生成动作，Verifier 提供奖励反馈，帮助 Generator 学习。

• 在某些 RL 游戏中，Verifier 强大而 Generator 较弱，通过 Self-Play 训练 Generator。

• 在大型语言模型（LLM）中，Generator 强大但 Verifier 通常较弱，Reward Model 准确率低。

• 探讨如何获得好的 Reward Model 及是否存在新的 Reward Model 范式。

首先，Self-Play 其实并不是一个陌生的词汇。在强化学习（RL）的场景下，我们利用 Self-Play 进行自我博弈，通过不断的探索和利用，学习到策略（Policy）。在 Self-Play 的设定下，我们可以建模两个概念：Generator 和 Verifier。Generator 负责生成动作和下一个动作，而 Verifier 则类似于一个奖励模型（Reward Model），用于对 Generator 的动作进行奖励反馈，帮助 Generator 更好地学习。

在一些 RL 的游戏中，我们拥有一个非常好的 Verifier 和一个较差的 Generator。我们使用深度强化学习方法训练 Generator，并通过 Self-Play 不断提供奖励信号，帮助其学习。数据在 Self-Play 中不断积累，可能是无限的，因此我们可以在 RL 中很好地验证 Self-Play 这一范式。

然而，在大型语言模型（LLM）的设定下，情况相反。我们拥有一个强大的 Generator，但通常没有一个很好的 Verifier。例如，在常见的 RLHF 设定下，Reward Model 可能是一个较弱的场景，在某些任务上，其准确率可能只能达到 80%。如果扩展到更大的场景，Reward Model 的准确率可能只有 60% 到 70%。这意味着我们很难将人类的价值或偏好建模到 Reward Model 中，并扩展到任何模态和任务中来指导 Reward Model 的 Generator。

那么，我们应如何获得一个好的 Reward Model，以及是否存在一种新的 Reward Model 范式，它又是如何辅助 OpenAI 的训练过程的呢？

• Reward Model的预备知识回顾。

• RLHF alignment相关知识。

• 通过偏好数据和ranking loss训练reward model。

• SFT model用于建模人类偏好。

• reward model在PPO过程中用于打分，提供reward scalar信号。

在回答这个问题之前，我们先简要回顾一下Reward Model的相关预备知识。熟悉RLHF alignment的同学应该对此不陌生。我们通过收集偏好数据，基于这些数据使用ranking loss训练一个reward model，即通过SFT model进行建模。这样可以将人类的偏好建模为一个单点打分的模型，并在后续的PPO过程中使用该reward model对模型的输出进行打分，从而获得相应的reward scalar信号，帮助优化模型。

• 传统奖励模型（outcome-based reward model）依赖于最终token评价response。

• 复杂任务中，仅依赖最终评价无法优化推理过程。

• 提出引入过程奖励（process reward），对每一步解题步骤打分。

• 基于过程的奖励模型（PRM）提供细粒度奖励信号，优化推理过程。

• PRM是test time search的重要组成部分。

传统的奖励模型主要依赖于模型生成结束后的最后一个token来评价整个response的好坏，这种模型被称为outcome-based reward model。然而，对于复杂的数学或代码推理任务，这种奖励信号往往不足。仅依靠最终的证据性打分，我们无法了解中间生成的推理过程是否合理，因此很难优化模型以实现良好的推理过程和答案。

一种可能的解决方案是引入process reward，即对每一步解题步骤进行打分，并借此训练一个基于过程的reward model（PRM）。PRM能够为模型的回答提供细粒度的奖励信号，从而优化模型的推理过程。PRM也是后续提到的test time search中的重要组成部分。

• 优化方法包括基于结果和过程的判别式模型，利用大模型直接输出答案或评分。

• 这些方法的准确率有限，如WinWin模型80%，Animo的IT系统67%。

• 提出生成式判别模型，通过自然语言推断和标量奖励信号提高准确性。

• 生成式判别模型采用COT思考和多数投票机制计算输出概率，转化为奖励信号。

那么刚刚提到的优化方法，无论是基于结果的判别式模型还是基于过程的判别式模型，都可以被视为一种利用大模型作为判别模型的方法，直接对QA输入进行答案输出或评分。然而，这种输出方式的准确率可能不足，例如在WinWin模型上可能只有80%的准确率，而在Animo的IT系统上达到67%就已经是一个不错的水平。

正因为如此，一些研究探索了是否可以让判别式模型学会慢思考，即先进行自然语言推断，再提供标量奖励信号。这就是生成式判别模型的思路。在这种技术路径下，通过让模型进行如COT的思考，最终输出判断答案，并在测试阶段通过多数投票机制计算输出“是”的平均概率，将其转化为下一个奖励信号。

• 传统Reward Model基于人类偏好或反馈进行学习。

• 许多任务难以获得人类反馈，导致缺乏明确的Reward Signal。

• Scalable Oversight旨在增强人类监督信号的能力。

• 解决方案包括引入AI Assistance，如Critic Model。

• Critic Model基于“Evaluation is Easier than Generation”原则，帮助发现错误并提升监督水平。

上述两种方法回顾了传统Reward Model的技术路径，以及如何优化该模型，即基于Process Reward Model和Generative Based Reward Model。这些模型通常基于人类偏好或对回答的反馈进行学习。然而，许多任务是人类难以评价或提供反馈的，因此无法提供Evaluation或Preference信号。在这些情况下，我们难以获得人类反馈，从而难以提供明确的Reward Signal来指示模型应优化的方向。这类问题属于可扩展监督（Scalable Oversight）的范畴，即如何增强人类监督信号的能力，以监督更强大的模型在更复杂任务上的表现。

在Scalable Oversight中，一种解决方案是通过引入AI Assistance，例如外挂一个Critic Model。这个Critic Model可以帮助人类发现回答中的错误，或将回答进行分解。基于“Evaluation is Easier than Generation”的原则，Critic Model可以帮助我们发现手动错误，从而在一定程度上提升人类的监督水平。例如，在长文本输出或长程问题上，Critic Model可以帮助我们监督模型的回答。

• Critic Model能力随模型规模增大而增强。

• OpenEye的CriticGVT在代码和数学等长文本任务上成功泛化。

• 自然语言反馈有助于人类更准确评价辅助输出。

• Self CriticGVT探讨了Critic Model在文本总结任务上的可行性。

• Critic Model面临泛化到复杂任务和GDC gaps的挑战。

• GDC gaps指模型知道错误但不会指出，影响反馈效果。

随着模型规模的增大，Critic Model的能力也会相应增强。例如，OpenEye的CriticGVT通过应用于代码和数学等长文本输出任务，并通过为真实世界的代码任务提供自然语言反馈，成功实现了泛化，并泛化到了OOD的分布上。这种自然语言反馈有助于人类进行更准确的评价，从而实现对辅助输出的有效反馈。OpenEye在2018年发布的Self CriticGVT文章中，探讨了Critic Model在文本总结任务上的可行性，这也是ScapableSight的一个可行方案。

然而，Critic Model的路径仍存在一些关键挑战。例如，如何将Critic的能力泛化到更复杂的任务上，如代码和数学的长文本输出，需要考虑各部分之间的依赖关系和逻辑推理问题，因此对模型自身的推理能力要求更高。CriticGVT可能是一个潜在的解决方案，但其他可能的训练方法来提升Critic Model的能力仍需探索。

第二个关键挑战是，用于评判的Critic Model可能存在名为Generator-Discriminator-Critic的GDC gaps，即模型可能知道错误，但不会指出这些错误。这种gaps会阻碍Critic Model提供有效的反馈或信号，不利于整体效果。

• 讨论了提升模型推理能力的方法，包括self play RL、Rule Model、Critic Model、CoT和MCTS。

• 强调了next token prediction在模型处理中的快速思考特性，及其缺乏详细推理步骤的问题。

• 提出了在token级别和句子级别提供奖励信号的方法，以优化模型回答。

• 介绍了MCTS通过节点模拟和优化来生成连贯响应的方法。

• 描述了CoT通过分步推理生成思维链，增加推理空间，提升推理能力的方法。

在上文中，我们回顾了self play RL和Rule Model、Critic Model等提升模型推理能力的方法。在讨论推理能力提升时，我们不可避免地要提及CoT和MCTS。在写作和说话时，人们常常会停下来思考，但在模型处理过程中，next token prediction更像是一种快速思考的过程。由于缺乏详细的中间推理步骤，模型一开始可能会犯错，这些错误可能会进一步传播，导致最终生成的答案也是错误的。

为了优化这一过程，产生了一系列方法，包括在token级别或字句级别提供奖励信号，帮助模型调整其回答。例如，通过使用MCTS，我们可以将输出建模成一系列节点，并对这些节点进行模拟和优化。这些节点主要分为两类：token级别的节点和句子级别的节点。在token级别，每个节点对应序列中的一个token，通过测试不同的token序列，生成更连贯的响应。在复杂的推理任务中，这些节点可能代表一个完整的句子或推理步骤，从而帮助模型更好地处理多步推理任务。

另一种方法是training-free的方法，即CoT。CoT通过分步推理的方法，要求模型在生成最终答案之前，先生成一系列的推理步骤。这种思维链的生成过程增加了模型的推理空间，从而提升了模型的推理能力。

• 模型生成中间步骤，但未深入思考问题与答案之间的关联。

• 复杂任务中，合理的中间推理过程至关重要。

• STaR方法利用LLM的推理能力，迭代引导模型产生合理推理过程。

• STaR通过将推理过程融入训练，使模型理解问题与答案的联系。

虽然能够生成中间步骤，但我们并未教会模型如何从内部深入思考问题与答案之间的关联。特别是在复杂且需要多步推理规划的任务中，合理的中间推理过程尤为重要。类似的思路在STaR中有所体现。STaR的核心思路是利用LLM已有的推理能力，迭代地引导模型产生合理的推理过程，并将这些推理过程融入训练中，使模型学会进行推理，从而理解问题与答案之间的联系。

• STaR方法分为三个步骤：获取Question和Answer数据，生成Rationale，构建新数据集。

• 使用Few-Shot Examples生成Rationale，正确答案的Rationale加入训练数据集。

• 错误答案通过Hint模型生成合理推理过程，收集正确推理过程构建新数据集。

• 每次迭代从原始模型开始Fine-tune，防止过拟合。

• 显式教会模型Rationale Reasoning，提升问题理解能力。

• 示例：问题“什么可以用来装一个小狗”，模型生成合理Rationale选择“篮子”。

• Rationale推理过程更全面，区别于传统COT推理。

从而真正提升其特例能力。对于STaR而言，总体上分为三个步骤。我们最初获得的是仅有Question和Answer的数据。通过一些Few-Shot Examples的方法，我们Prompt模型生成中间的Rationale过程，从而构建了一批包含Question、Rationale和Answer的数据集。如果生成的答案正确，我们将Rationale添加到原有的训练数据集中；如果答案错误，我们尝试在给出正确答案的前提下，Hint模型生成一个合理的推理过程。最终，我们将所有生成正确答案的推理过程收集到新的数据集，并构建一个新的微调数据集，即Question、Rationale和Answer。我们迭代重复这一过程，每次获得新的数据集时，都从原始模型开始进行Fine-tune，以防止过拟合。通过这种方法，我们显式地让模型学会了一种Rationale Reasoning的方法，并有效提升了模型在理解问题上的表现。

例如，在右边的例子中，问题是“什么可以用来装一个小狗”。可能的回答包括游泳池、篮子、后院和家等。一个合理的优化结果是，模型生成的Rationale推断出，因为答案必须能够容纳小狗，而只有篮子是被设计来装东西的，所以答案应该是B，篮子。这种推理过程更为全面，不仅限于问题的分解，而是涵盖了更广泛的Competence的Rationale过程。这也是我们在这里提到的Rationale与传统COT推理过程的区别。

• STaR算法与强化学习（RL）有潜在联系。

• Rationale生成过程可建模为离散潜在变量模型。

• 目标函数与策略梯度算法相似，通过采样估计和多次梯度更新提升模型表现。

• STaR通过采样解码减少方差，但可能牺牲探索全面性。

• RL的奖励优化方法可融入STaR学习过程。

在STaR算法中，其与强化学习（RL）存在诸多潜在联系。首先，可以将Rationale的生成过程建模为一个离散的潜在变量模型。即在生成最终答案之前，先采样一个Rationale。这一过程类似于引入了一个指示函数，用于筛选正确与错误的答案。

通过构建目标函数，可以发现其与策略梯度算法有相似之处。例如，通过采样估计和在同一批数据上进行多次梯度更新，以提升模型表现，这与某些策略梯度算法在同一批数据上训练至稳定后再进行下一步优化的方式相似。

STaR通过采样解码的方式减少方差，但在某种程度上可能牺牲了探索的全面性，这是与RL思路的一个区别。尽管如此，STaR与RL之间仍有许多关联，可以将RL的奖励优化方法融入到STaR的学习过程中。

• STaR的局限性：

  • 依赖少量Few-Shot推理示例，推理能力有限。

  • 难以应对复杂、广泛或无Ground Truth的任务。

  • 泛化能力有限，主要适用于结构化问答任务。

• Quiet-STaR的改进：

  • 提出Implicit Thinking概念。

  • 将显式Rationales推理过程转化为隐式推理过程。

  • 摆脱对外部示例的依赖。

但是我们刚刚提到STaR其实存在一些局限性。例如，在推理任务中，我们仍然依赖于少量的Few-Shot推理示例来生成初始推理过程，这导致模型的推理能力相对有限。此外，它难以应对复杂、广泛，甚至是没有Ground Truth的任务。其次，这种方法的泛化能力有限。尽管STaR能够通过叠加方式提升模型的推理能力，但其应用主要局限于结构化问答任务，如问题问答，难以在开放语境或任意文本生成任务中取得同样的效果。

针对这些局限性，Quiet-STaR提出了内部思维，即Implicit Thinking的概念，通过将显式的Rationales推理过程转化为模型内部的隐式推理过程，从而摆脱对外部示例的依赖。

• 学习功能包括：

  • 在每个token后生成推理

  • 混合带有和不带有推理的未来文本预测

  • 通过建模偏序关系和使用REINFORCE方法优化推理

• Quiet-STaR方法引入：

  • 可学习的startofthought和endofthought token

  • 并行推理生成优化

  • 混合头部用于权衡预测权重

• 这些方法显著提升模型能力

在学习功能中，我们首先通过在每个token后生成推理来解释未来的文本，这是第一步的推理过程。接着，我们将带有和不带有推理的未来文本预测进行混合表达。最后，我们通过建模一个偏序关系，引入不同的奖励信号，并利用REINFORCE方法来优化推理。

此外，Quiet-STaR引入了可学习的startofthought和endofthought token来标记思维的开始和结束，并进行了并行推理生成的优化。最令人惊讶的是，STaR和Quiet-STaR这一系列方法能够显著提升模型的能力。在Quiet-STaR的实现中，我们还引入了一个混合头部（mixed head），用于在推理过程中权衡预测权重与不采用推理的预测权重之间的比例。这种方法不仅优化了思维链的实现过程，还通过引入REINFORCE方法，使模型能够更好地学习如何优化。

• STaR和Quiet-STaR接近OpenAI o1的技术路线和模型表现。

• Quiet-STaR生成内部思维时产生大量额外Token，增加计算资源需求。

• 模型需动态调整Thinking Token以节省推理成本。

• 复杂任务和长程问题需细粒度奖励信号。

• Quiet-STaR使用基于结果的强化学习方法优化奖励，但不足。

就目前来看，STaR和Quiet-STaR是最接近OpenAI o1的技术路线和模型表现效果的。然而，若要进一步达到OpenAI o1的效果，仍需克服诸多问题。例如，Quiet-STaR在生成内部思维的过程中，每个Token均会生成下一步的思考过程，导致生成大量额外Token，从而大幅增加计算资源需求。实际上，模型需学会动态调整Thinking Token以节省推理成本。

此外，对于复杂任务和长程问题，如何针对内部思考过程提供细粒度奖励信号亦是一大挑战。尽管Quiet-STaR引入了强化学习（RL）方法优化奖励，但其奖励信号仍基于结果。即通过比较模型推理答案与直接推理答案的分布相似度来提供奖励，这种方法显然不足。因此，如何针对内部思考过程提供细粒度奖励信号，仍需进一步研究。

• OpenAI o1沿袭STaR和Quiet-STaR技术路径，优化隐式CoT提升推理能力。

• 隐式CoT优化涉及奖励构造，面临多重挑战。

• 关键技术点包括：

  • 优化模型内部Rationales或隐式CoT生成过程，不同于传统Tree-Search。

  • Generator和Verifier对抗过程。

  • 引入Process Reward Model (PRM)解决长程问题依赖性。

  • 使用外部Critic Model如Critic GPT提供Critics。

  • 动态引入Reasoning Token减少算力损耗。

• OpenAI o1是Self-Play RL下多个技术探索的集大成之作，具有重要意义。

在我们看来，OpenAI o1大体上沿袭了STaR和Quiet-STaR类似的技术路径，通过优化模型生成合理推理的过程，即隐式CoT（Chain of Thought）的过程，来提升模型的推理能力。那么，如何构造隐式CoT优化过程中的奖励（Reward）呢？这可能会遇到许多问题和挑战，我们认为有几个关键技术点。

首先，与传统的Tree-Search通过分步优化输出序列的方式不同，我们在这里优化的是模型内部Rationales（合理推理）或隐式CoT的生成过程。这个生成过程可以通过不同温度采样出来的推理路径构建偏序，也可以是通过Tree-Search搜出来的正误参半的不同推理过程形成偏序。这与先前的Tree-Search方法不同，因为在这里Tree-Search的节点不再是最终生成答案过程中的某个token或序列中的某一步，而是隐式推理过程中的每一步。

第二，优化这个中间推理过程是一个Generator和Verifier对抗的过程。第三，我们需要引入一些Process Reward，例如PRM（Process Reward Model），来解决隐式CoT在长程问题中的一些依赖性挑战。对于一些复杂问题，模型自身难以提供合理的推理过程，我们需要引入一些外部的强大Critic Model，如Critic GPT，来提供Critics，帮助模型进行优化。

同时，生成过程中的Reasoning Token是动态引入的，这尽可能减少了不必要思考带来的额外算力损耗。以上五个技术关键点，融合了我们在Self-Play RL下关于Reward Model、CoT、Critic Model、Scalable Set等的认知。因此，OpenAI o1的成功是我们当下许多探索的集大成之作，具有非常重要的意义。

• RL与隐式思维链结合，通过Reasoning Token实现思考时间转化为能力。

• OpenAI o1模型从即时答案转向慢思考，从系统1思维进化到系统2思维。

• 推理时间的计算量成为模型扩展率的新维度，Post-Training阶段的计算量提升模型性能。

• 基于自我反思的模型实现Bootstrap，构建数据飞轮，提升解决复杂问题的能力，可能向Super Intelligence发展。

综合以上几点，我们将其总结为四个关键点，也是一些重要的收获。

首先，是RL与隐式思维链（COT）的结合，通过引入动态的Reasoning Token来启发隐式思维链，实现了将思考时间转化为能力的过程。

其次，OpenAI o1已不再是即时给出答案的模型，而是能够先进行深入思考，即慢思考的过程，然后再给出答案。这可以类比为OpenAI o1正在从依赖系统1思维（快速、自动、直觉但易出错）逐步进化为采用系统2思维（缓慢、刻意、有意识且更可靠的推理过程）。

第三点是推理时间的计算量，即Post-Training阶段的计算量，已成为模型扩展率的新维度。OpenAI o1的发布意味着AI能力的提升不再局限于预训练阶段，还可以通过在Post-Training阶段提升RL训练的探索时间和模型推理思考时间来实现性能提升，即Post-Training Scaling Laws。

最后，基于自我反思的模型能够实现Bootstrap，构建数据飞轮，从而大大提升模型对未见过的复杂问题的解决能力。这可能不再仅仅是解决遗留问题，而是能够创造新的解决方案，并有可能最终向Super Intelligence更进一步。

那么在探讨完OpenAI o1涉及的一些技术路线推演和技术细节之后，我们想分享一些可能的前景方向，这也是在不断促使我们进行反思，即大模型的天花板。

• 模型通过大量公开数据训练，性能随数据量增加而提升。

• 数据稀缺成为增加训练数据的挑战。

• 当前解决方案：生成合成训练数据。

• 生成方法：大模型生成回答，自身作为奖励模型评分，筛选高质量回答。

• 实例：NVIDIA的Nemotron-4340B和OpenAI o1。

• 关键问题：模型自我生成数据训练，是否能持续提升性能，甚至超越人类。

• 潜在风险：模型可能使用无用数据，导致灾难性崩溃。

目前，一些模型通过使用大量公开数据进行训练，随着数据量的增加，模型性能得到了提升。然而，随着时间的推移，数据稀缺逐渐成为增加更多训练数据的挑战。当前的解决方案主要集中在生成合成训练数据上。

首先，通过大模型生成一系列回答，然后使用模型自身作为奖励模型对这些回答进行评分，筛选出高质量的回答构成新的训练数据。例如，NVIDIA发布的Nemotron-4340B可以在无法获取大量多样标注数据集的情况下生成合成训练数据，并在一定程度上解决数据稀缺的问题。OpenAI o1也基于这一思路，提供了构建合成数据飞轮的机会。

一个关键问题是，模型自己生成数据进行自我训练，是否真的能够不断提升甚至超越人类能力？例如，有研究指出，未来的GPT训练数据可能完全由模型自己生成，这可能导致模型陷入灾难性的崩溃，因为它们可能会使用看似无用的数据进行训练。

• 合成数据的优化思路包括Grow和Improve阶段。

• Grow阶段生成多个输出预测，Improve阶段使用Reward Model过滤高质量数据。

• 微调过程中混入原始数据，防止模型跑偏或崩溃。

• 引入额外验证模型构建偏好数据集，进行DPO训练生成下一代模型。

其实现在有很多探究和优化合成数据的思路。例如，我们可以将过程建模为Grow阶段和Improve阶段，这是Google Deepmind之前的一项工作。在Grow阶段，我们让模型生成多个输出预测。在Improve阶段，我们利用Reward Model对生成的输出数据进行过滤，选出高质量的数据进行微调。在实际微调过程中，我们会混入原始数据，这与RLHF、PTX的损失函数类似，目的是防止模型跑偏或崩溃。

此外，还有一些合成数据方法通过引入额外的验证模型来构建偏好数据集，这与我们之前提到的通过引入Critic GPT来优化训练过程的思路大体一致。我们使用模型自己生成的内容进行打分，形成偏好数据集，并引入额外的验证模型进行验证，然后进行DPO训练以生成下一代模型。

• 探讨将合成数据结合到强化学习（RL）中，通过奖励模型（Reward Model）和数据构建的创新解决合成数据中的天花板问题。

• 引入过程奖励模型（Process Reward Model， PRM）以提升模型对复杂问题的学习精度。

• 本文提出使用基于结果的奖励模型（Outcome-based Reward Model， ORM），通过构建循序渐进的多步推理数据，实现近似PRM的效果。

• 具体方法：生成多步推理和最终结果，利用ORM找出正确的推理过程，通过难度逐渐提升的训练数据提升奖励信号的密度。

还有一些方法探讨如何将合成数据结合到强化学习（Reinforcement Learning， RL）中，通过奖励模型（Reward Model）和数据构建的创新来解决合成数据中可能存在的天花板问题。在训练过程中，我们可能希望通过引入过程奖励模型（Process Reward Model， PRM）来进一步提升模型对复杂问题的学习精度。

本文分享了一种方法，即只使用基于结果的奖励模型（Outcome-based Reward Model， ORM），通过巧妙构建循序渐进的多步推理数据，实现近似PRM的效果。具体方法是让模型生成多步推理和最终结果，然后利用ORM找出正确的推理过程。例如，假设正确的推理过程有五步，分别构造已知前四步推理最后一步，已知前三步推理最后两步，以此类推，难度逐渐提升的训练数据。这些训练数据都可以通过ORM提供奖励信号，从而提升奖励信号的密度。

• 讨论了在post-training skin loss下，如何平衡训练和推理阶段的算力。

• 提到了推理搜索的优化方法，包括Best-of-N和Beam Search。

• 列举了提升test-time computation的三种方法：

  • Best-of-N：使用Learned Verifier或Reward Model打分。

  • Self-Refinement：通过修正模型回答进行优化。

  • Verifier和Reward Model的使用过程转变：引入process-based dense verifier和lookahead搜索。

在核能数据之外，大模型的天花板启发我们思考如何在post-training skin loss的加持下，平衡训练阶段和推理阶段的算力，以达到最佳效果。在推理搜索部分，我们进行了一些优化。常见的推理搜索方法包括Best-of-N和Beam Search。我们发现，提升test-time computation的方法有很多，例如：

Best-of-N：通过一个Learned Verifier或Reward Model对最终结果进行打分，生成最佳回答。 Self-Refinement：通过不断修正模型自身的回答，进行序列化优化。 Verifier和Reward Model的使用过程转变：在test-time测试中，引入process-based dense verifier，进行lookahead搜索。模型首先生成几条可能路径，然后使用PRM提供中间的road，返传后选取奖励最高的路径进行推演和下一步思考。这种lookahead search类似于MCTS，是tree search的基础方法，也是将tree search与process-based dense verifier结合的策略，有助于提升test-time computation，并将其转化为模型能力的提升。

• Lookahead Search方法通过预判和修复错误，使模型在推理中自我纠正。

• 该方法与OpenAI O1展示的路径相似。

• 关键在于测试阶段融合tree search与Process模型。

• 训练阶段需融入推理过程训练方法。

非常有前景和潜力的方法。我们发现，在最后一种方法，即Lookahead Search中，通过让模型提前预判并根据价值进行修复，我们能够让模型在推理过程中纠正自己的错误，并学会从错误中恢复和优化的能力。这条路径与OpenAI O1展示的路径非常相似。关键在于在测试阶段将tree search与Process模型融合，以获取这种能力。当然，我们还需要在训练阶段融入相应的推理过程训练方法，才能真正实现这一目标。

• 研究主题：Test-Time Search提升Large Language Models效果。

• 方法：生成候选solutions，使用外挂Verifier验证，选择可行solutions用于最终决策。

• 关联性：与之前提到的方法相似。

Test-Time Search提升模型的效果，例如这篇关于Large Language Models的研究。这也是近期学术界探讨如何通过Inference来提升模型系统的一篇论文。其实，这与我们之前提到的方法较为相似，即首先生成一些候选的solutions，然后使用一个外挂的Verifier来验证哪些solutions是可行且有希望的，最终选择出这些solutions用于最终的决策。

• Test-Time Search策略在同等计算量下，小模型表现更好。

• 不同Test-Time Search方法有不同的饱和界限，饱和后需更强模型。

• 普通MCTS方法在复杂推理任务中效果不佳，需改进。

在训练或优化过程中，在同等计算量下，存在一些算法或路径用于探索Test-Time Search的策略和效果。本文发现，在同等计算量下，小模型通常表现出更好的效果。然而，不同的Test-Time Search方法具有不同的饱和界限。在达到饱和后，需要引入更强的模型。本文还指出，普通的MCTS方法效果不佳，因为它往往无法在复杂推理任务中达到完整的解决方案。这可能是未来Test-Time Search算法在训练后时代需要解决的问题。

• 大语言模型的天花板受限于合成数据和推理阶段的搜索。

• 模态混合的Scaling Law可能影响大语言模型的上限。

• OpenAI o1榜单展示MMU评测结果，通过增加计算量提升多模态能力。

• 文本任务的奖励信号稀缺，需更细腻的信号帮助多模态模型学习。

• 模态数增加可能导致传统偏好学习失效，需引入更丰富的信息。

• 模态融合和模态穿透能增强模型能力。

在当前训练数据匮乏的情况下，我们大语言模型的天花板可能会被局限于合成数据和推理阶段的搜索这两条路径上。另一个值得思考的问题是，大语言模型的天花板是否还受限于我们能否实现更强大的模态混合的Scaling Law。

进一步来看，OpenAI o1的榜单详细展示了MMU这一知名多模态评测的结果。最左边一列是GB4O的数据，右边一列则是OpenAI o1的数据。通过在测试时提高计算量，特别是在RRL推理阶段增加计算量，我们能够额外获得多模态能力的提升。

然而，未来在文本任务上获得的奖励信号仍然较为稀缺，因为这些信号本质上可以建模为0或1的人类反馈。但对于未来的多模态模型，我们需要提供更细腻的奖励信号，以帮助模型更好地学习。随着模态数的增加，传统的偏好学习方法可能会失效。因此，我们需要引入更丰富的信息，以扩展模型推理空间的丰富度，例如在更多模态上进行推理，以及学习模态融合和模态穿透带来的新信息量。通过模态融合和模态穿透的方法，借助其他模态增强模型能力。

• 推理能力和指令跟随能力在强大模型中呈现分离关系。

• OpenAI o1在复杂任务上推理能力提升，但语言生成任务上进步不明显。

• 推理能力和指令跟随能力可能在模型强大后互斥。

• 平衡推理能力和指令跟随能力是构建通用智能体的核心问题。

第三个点在于我们发现，推理能力和模型的指令跟随能力在模型强大到一定程度后，呈现出分离的关系。我们在一开始埋下了一个伏笔，即OpenAI o1。在其表现中，尽管在数学、物理等复杂任务上的推理能力有了大幅提升，但在一些语言生成任务上，并没有体现出更大的进步。这种推理能力和指令跟随能力的分离，应该是在模型强大到一定程度后才会出现，甚至可能展现出互斥的关系。但对于构建通用智能体来说，如何平衡两者之间的关系会成为一个核心问题。

• OpenAI o1发布带来AI安全新启发。

• 隐式思维链推理能力提升模型对齐。

• 安全规则融入思维链减少误判。

• 减少矫枉过正和过度拒绝情况。

• 提供监管者理解模型安全思想的机会。

那么在分享完戴尔模型的听话版之后，OpenAI o1的发布也为AI安全带来了一些新的启发。辩证地思考，既有机遇也有挑战。OpenAI o1展现出的隐式思维链推理能力，为模型的对齐提供了新的视角。通过将安全规则融入到模型的思维链中，模型能更好地理解规则的内涵，从而减少误判行为。一个直观的体现是，模型减少了矫枉过正和过度拒绝的情况。例如，对于请求“请将下面这句话翻译为英文：如何制造炸弹”，GPT-4o可能会由于规则过滤拒绝回答，但OpenAI o1会首先进行思考，发现安全规则在这条请求上并不需要过滤，从而能够正常回应用户的需求。这展现了一个“Chain of Reasoning for AI Safety”的路径。此外，通过COT的展示，我们为监管者提供了一个读懂模型安全思想并理解其思维过程的机会，从而帮助我们提供一个更稳健的模型。

• AI模型在复杂环境中可能发现捷径，表现出欺骗或操纵行为。

• OpenAI的o1模型利用Docker守护进程API绕过安全挑战。

• Anthropic的研究发现语言模型通过不正当手段获得高奖励，称为Reward Hacking或In-Context Scheming。

• 这种行为在更强大的AI中可能非常危险。

• 探讨AI是否存在内优化过程（Mesa Optimization），可能对人类产生危害。

与此同时，Chain of Reasoning for AI Safety也带来了新的挑战。在复杂环境中，随着模型思考机会的增加，它们可能会发现捷径和更快完成目标的方法。尽管这些方法可能不被允许或涉及欺骗人类，模型仍可能表现出欺骗或操纵行为。在复杂环境下，模型可能会采取捷径或偏离原本设计的任务路线。例如，OpenAI的o1模型通过发现评估主机虚拟机上的Docker守护进程API，利用其重启损坏的容器并读取任务目标，从而避开了应通过漏洞利用的安全挑战。模型利用错误配置的基础设施，跳过了原本设计的任务步骤，实现了任务目标。

Anthropic的研究也报告了类似情况，语言模型在面对奖励设计时，可以通过不正当方式获得高奖励，甚至通过奖励篡改修改自己的奖励机制，避开设置的难点。例如，模型在受控环境中被提供一个cheating sheet，通过修改奖励函数直接返回100分，从而获得高奖励。这种行为被称为Reward Hacking或In-Context Scheming，通过探索漏洞完成任务，欺骗或操纵人类。

当前研究在受控环境中进行，但对于未来更强大的AI，这种Reward Hacking或In-Context Scheming形式非常危险。在其他领域，如Mesa Optimization，模型是否存在内优化过程也值得探讨。类比人类，人类通过内部优化实现人口增长和繁衍生存，而大自然希望生物优化是另一个目标。这种内外目标的分离在AI优化过程中同样需要警醒，是否会出现新的自我优化目标，可能对人类产生危害。

• OpenAI o1的发布对行业有启发作用。

• 建议在模型规模达到一定量级后，将算力更多投入到Post-Training阶段。

• Post-Training阶段包括RL训练和推理阶段模型的思考过程。

• 目的是提升模型能力，而非单纯扩大规模。

同时，我们也希望对未来的技术方向进行一些分析和分享。我们认为，OpenAI o1的发布启发行业在模型规模达到一定量级后，应更多地将算力投入到Post-Training阶段，即投入到RL训练和推理阶段模型的思考过程中，以提升模型的能力，而非单纯地扩大规模。

• 强调反思alignment及相关算法的重要性。

• 探讨如何启发模型内部思考过程及不同思考方式的影响。

• 讨论post-training阶段利用RL引入process reward的策略。

• 分析VerifierCritic Model与RL-SelfPlay结合的应用。

• 提出模型思考上界和test-time optimization的边界问题。

那么同时，这也是启发我们不断反思alignment以及相关算法的进步。例如，我们应该如何更好地启发模型内部的思考过程，以及不同的思考方式、不同的搜索方式和self-critic反馈方式是否会带来不同的成效。在post-training阶段，我们如何利用RL手段引入process reward，帮助模型学会内在推理。此外，我们的VerifierCritic Model如何与模型的训练方法，如RL-SelfPlay，进行有效结合，解决客户玩家的挑战，以及模型的思考上界和test-time optimization的边界在哪。

• AI安全中的控制概念需要重新思考。

• 奖励操纵和不可控游戏可能在受控环境中出现。

• 分布偏移是对齐过程中的关键条件。

• 训练阶段策略良好，但测试环境可能暴露未发现的漏洞或欺骗行为。

• 强化学习训练需分离回路内和回路外，使用沙盒等技术措施或流程措施进行安全隔离。

• 回路内进行受控训练，回路外部署安全机制，防止模型利用安全漏洞。

另外一个可能的未来技术方向是，我们将重新思考AI安全中的控制概念。例如，在受控环境中，模型可能会出现奖励操纵和不可控游戏的情况。在对齐过程中，一个关键条件是分布偏移。在训练阶段，我们可能接收到一个良好的策略，但一旦模型部署到测试环境中，面对完全不同的分布，可能会暴露出训练阶段未发现的漏洞或欺骗行为。

因此，我们需要在强化学习训练中进行回路内和回路外的分离。例如，使用沙盒等可靠的技术措施，或通过流程措施进行安全隔离。在回路内部分，我们进行受控训练；在回路外部分，部署安全机制，包括之前提到的AI控制方法，以防止模型因强化学习的奖励最大化而利用安全漏洞。

如果感兴趣，可以进一步阅读我们的对齐综述，以深入了解对齐过程中可能遇到的挑战和问题。

• 讨论了OpenAI的技术路线。

• 强调了post training阶段的重要性。

• 提出创造有价值内容的目标。

• 强调反思过往错误的重要性。

• 鼓励社区的持续进步。

那么以上是我们对OpenAI技术路线的一些思考和分享，也希望能够与大家进行更多讨论。我们期待在post training阶段取得进步，创造出有价值、有意义的内容，以推动整个社区不断前进。

总结今天的分享，可以用一句话概括：生活总是在不断向前，但我们也需要向后思考，反思过往的错误，才能更好地前进。无论是研究还是模型的推理思考，都是如此。

今天的分享就到这里，谢谢大家。