揭秘OpenAI o1：AI的超越时刻与技术突破

OpenAI官方发布了OpenAI o1 团队的采访视频，分享了 AI 模型超越人类的惊人时刻，以及背后的开发故事和技术挑战。

• 官网链接：https://openai.com/o1/
• youtube链接：https://www.youtube.com/watch?v=tEzs3VHyBDM

来自艾伦研究所的科学家Nathan Lambert对这个视频，做了一个精彩亮点的总结。

一共有8点：

1. 强化学习加持的o1，比人类更善于发现新的CoT推理步骤
2. 自我批评的涌现，是o1最强有力的时刻
3. 让o1「超时」前完成回答，然后突然有了「啊哈」时刻
4. scaling参数规模的挑战，以及继续沿着强化学习算法进步之路
5. 许多人提到，相对于算法而言，基础设施显得多么重要
6. 通过规划、纠错，o1能够解决世界上的新问题
7. 新的训练范式是一种全新的方法，可以将更多的算力投入到模型中
8. o1编写代码时，当其输出要使用的代码时，需要通过单元测试

「啊哈」时刻

有人表示，自己觉得研究中最酷的就是那个「啊哈」时刻了。在某个特定的时间点，研究发生了意想不到的突破，一切忽然就变得很明了，仿佛顿悟一般灵光乍现。所以，团队成员们分别经历了怎样的「啊哈」时刻呢？

1. 有人说，他感觉到在训练模型的过程中，有一个关键的时刻，就是当他们投入了比以前更多的算力，首次生成了非常连贯的CoT。就在这一刻，所有人都惊喜交加：很明显，这个模型跟以前的有着明显的区别。

2. 还有人表示，当考虑到训练一个具备推理能力的模型时，首先会想到的，是让人类记录其思维过程，据此进行训练。对他来说，啊哈时刻就是当他发现通过强化学习训练模型生成、优化CoT，效果甚至比人类写的CoT还好的那一刻。这一时刻表明，我们可以通过这种方式扩展和探索模型的推理能力。

3. 这一位研究者说，自己一直在努力提升模型解决数学问题的能力。让他很沮丧的是，每次生成结果后，模型似乎从不质疑自己做错了什么。然而，当训练其中一个早期的o1模型时，他们惊奇地发现，模型在数学测试中的得分忽然有了显著提升。而且，研究者们可以看到模型的研究过程了——它开始自我反思、质疑自己。他惊叹道：我们终于做出了不一样的东西！这种感受极其强烈，那一瞬间，仿佛所有东西都汇聚到了一起。

4. 还有一位研究人员表示，当你要求模型在「超时」前，完成思考，过程非常有趣。这就像自己在参加数学竞赛一样，任何思考都是有时限的。他表示，这也是自己进入AI领域主要原因，而现在，对于自己来说，也算是实现了「闭环」时刻。

o1模型用例

case1

Hyung Won Chung表示，o1可以成为很好的编码助手。

他自己在工作时通常遵循TDD（Test-Driven Development）的开发方式，有了o1的帮助可以免去自己编写单元测试的工作，而是直接指定需求，让模型自动编写。

此外，遇到的报错信息也可以直接扔给o1，虽然有时不能直接解决问题，但它可以比编译器提出一个更好的问题，帮助你解决错误。

case2

Jason Wei则表示，自己经常把o1当成头脑风暴的伙伴，而且可以讨论的问题范围相当之广，大到如何解决一个机器学习问题，小到如何起草一篇博客或推文。

推理能力的提升要点

o1 模型在推理能力上超越人类的关键在于其强化学习（Reinforcement Learning, RL）的应用和推理 scaling 的实现。
以下是 o1 模型如何达到这一点的几个方面：

1. 强化学习的加持：o1 模型通过强化学习能够更好地发现新的推理步骤，这种能力使得它在解决问题时比人类更为高效。
2. 自我批评的涌现：o1 模型展现了自我批评的能力，这是其推理能力最强有力的时刻之一。通过自我反思和质疑，模型能够提升自己的性能，特别是在解决数学问题时。
3. 推理 scaling：o1 模型的开发揭示了推理能力的扩展（scaling）的重要性。通过增强模型的推理能力，OpenAI 团队能够优化算力效率，使得模型在处理复杂任务时更为出色。
4. 新的训练范式：o1 模型采用了新的训练范式，这种方法允许更多的算力投入到模型中，从而提升了模型的推理和解决问题的能力。
5. CoT（Chain of Thought）推理：o1 模型在生成和优化推理链（Chain of Thought）方面表现出色，这种方法使得模型能够以类似人类思维过程的方式进行推理，有时甚至超越了人类的表现。
6. 规划与纠错：o1 模型能够通过规划和纠正错误来解决世界上的新问题，这种能力是其推理能力的直接体现。

通过上述方法，o1 模型在推理能力上实现了超越人类的成就，这在很大程度上凸显了人工智能在解决复杂问题上的潜力和未来发展的方向。

期待

最抓人的一点是，新范式解锁了模型以前无法完成的任务，这不仅仅是回答某些查询，而实际上已经通过规划、纠正错误，泛化出新的能力。

甚至，o1能够产生新的知识，对于科学发现来说，这是最令人兴奋的部分。

研究者表示，在短时间内，模型将成为自身发展，越来越强大的贡献者。