技术上，如何复现 o1?

最新推荐文章于 2024-10-18 11:21:51 发布

小天才学习机打游戏

最新推荐文章于 2024-10-18 11:21:51 发布

阅读量781

点赞数 15

文章标签：人工智能大数据数据库 oracle jvm

本文链接：https://blog.csdn.net/m0_59164520/article/details/142343159

版权

基础模型

搞 o1 首先需要一个基模，这个基模必须是：

能进行“长”生成。注意这和“长 context”不是一回事。模型生成的结果，经常会有自激的噪声存在，或分布逐渐变得非常 sharp，从而导致模型生成内容的后半段质量下降。比如写小说时会“烂尾”，用大团圆草草收场。在多模生成模型上也很容易观察到这一现象，表现为生成的音频和视频在结尾处要么糊掉要么变成静音静止。
有较强的抗噪能力。目前看来，这一点刚需大模型，比如万亿的 step2 就是比千亿的 step1 好。小模型容易被 context 里的一点点错误带偏。考虑到 CoT 就是个 trial-and-error 的过程，要能从鱼龙混杂的 context 里筛出有用信息往下走，需要一个充分训练的大模型。

数据

数据上，如果起手式是模仿学习（SFT），需要至少是起动量的规划数据：

比如一个看起来能分解成步骤的题，可以由人类演示如何拆成哪几步。
或者由模型按类似 ReAct / Reflection / RePlan 的方式 CoT，然后人类给过程打分。一个可能的捷径是构造 CoT 的 DPO 数据。

这里说是起动量，是因为这些数据生产困难，后面还是要靠 Self-Play 来起量。（现在有了 O1，有 GPT 帐号的厂又可以用 O1 来生成这个“起动量”的数据了）。

接下来 RL 部分需要大量的 Reward Model 数据（评论区说可能 O1 只用 RL）。考虑到 CoT 数据非常长，很难一上来就全对，所以大概率是个 PRM，相当于人类标出 CoT （可能是树型）的第一个出错点。

这里能从自动定理证明器（ATP）如 LEAN/Coq 借鉴的一招是“tactics”。比如 O1 会有意识地做简化（simpl）操作，也会设变量（intros）。如果实锤 O1 会数学归纳法（induction），那就真的很可能有一个把 ATP 产生的证明，按自然语言翻译成 CoT 数据的造数据路径。

算法

算法上，需要一个有数据效率（Data Efficient）的算法。应该是某种 MCTS（因为 o1 解得好的都是 verifier 容易的题）。这个在去年以来的各种 Q*-clone 探索中都有覆盖。这里麻烦的应该是系统和算法的配合，因为大规模推理造数据看来少不了。

o1-mini 的存在值得玩味。据说 o1-mini 数学甚至更强，但是推理会更“无理”。顺序上，是先有 o1-mini 还是先有 o1-preview？如果先有 o1-mini，那么可以用 o1-mini 大量的 roll 数据；如果先有 o1-preview，那么可以从 o1-preview 造大量数据去喂饱 o1-mini。或者是两者交替成为共轭师徒。

还有个简单的可能是 o1 训得慢，而 o1-mini 模型小训得快，先过完了数据放出来。。。

FAQ

Q：目前 o1 似乎主要展示了在解题时的强大能力。那么在其他方面，比如在多模态理解生成一体中，有什么应用？

A：o1 非常深刻地改变了 LLM，所有目前的 LLM 应用，只要存在一个基于或不基于 LLM 的 verifier，或者有约束要满足，都会受到断代式的影响。比如以前多模生成里，指令跟随一直是困难的问题，具体例子有生成 3D 资产需要的高一致性的多视角图，之前只能靠后挑生成。o1 则打开了模型反复修改“sketch”，来达到约束生成的可能。可以想象 o1 自言自语，然后在画布上这里一笔那里一笔涂涂抹抹的场面。

Q：对 AI 搜索和角色扮演有什么影响呢？

A：AI 搜索中，复杂的二次搜索（如读一篇论文时还参考参考文献）等，都是需要均衡每个动作成本收益，以及顾及当前时间预算的行为。o1 展现了这个潜力，并且箭在弦上（“o1-preview doesn’t use tools yet, but support for function calling, code interpreter, and browsing is planned”）。

对于角色扮演来说，o1 提供了一个框架，让不烂尾，不无聊的生成成为可能。这几天多个测试表明，o1 是诗歌之类“戴着镣铐跳舞”式创作的大师。那么 AI 角色扮演需要的“乐而不淫”、“文似看山不喜平”、“草蛇灰线”对于 o1 来说，无非是一条条约束而已。“两句三年得，一吟双泪流。” 以后流的是电费的心痛的泪。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述