全面解说OpenAI o1三部曲：下篇-乞丐版o1-mini

简介

小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖海参的小女孩。OpenAI 发布的o1 是一个系列模型。除了o1-preview，官方还一并发布了一个 mini 版：OpenAI o1-mini。o1-mini是面向开发者，兼顾成本和效益。o1-mini 在 STEM 领域表现出色，尤其是在数学和编程方面，其性能几乎可以与 OpenAI o1 在 AIME 和 Codeforces 等评估基准上相媲美。o1-mini将成为在无需广泛世界知识的应用中需要推理任务时的快速且具成本效益的模型。整体来看，o1-mini 的成本比 o1-preview 低 80%。

小窗幽记机器学习

记录机器学习过程中的点点滴滴和坑坑洼洼

公众号

针对STEM任务优化

由于 o1 等大型语言模型是在大量文本数据集上预训练，虽然具有广泛世界知识，但对于实际应用来说，可能成本高昂且速度慢。

相比之下，o1-mini 是一个较小的模型，在预训练期间针对 STEM 推理进行了优化。在使用与 o1 相同的高计算强化学习 (RL) pipeline 进行训练后， o1-mini 在许多有用的推理任务上实现了相媲美的性能，同时成本效率显著提高。

比如在需要智能和推理的基准测试中，与 o1-preview 和 o1 相比，o1-mini 表现良好。但它在需要非 STEM 事实知识的任务上表现较差。

数学能力：在高中 AIME 数学竞赛中，o1-mini (70.0%) 与 o1 (74.4%) 不相上下，但价格却便宜很多，并且优于 o1-preview (44.6%)。o1-mini 的得分（约 11/15 个问题）大约位于美国前 500 名高中生之列。

编码能力：在 Codeforces 竞赛网站上，o1-mini 的 Elo 得分为 1650，与 o1 (1673) 不相上下，并且高于 o1-preview (1258)。此外，o1-mini 在 HumanEval 编码基准和高中网络安全夺旗挑战 (CTF) 中也表现出色。

STEM：在一些需要推理的学术基准上，例如 GPQA（科学）和 MATH-500，o1-mini 的表现优于 GPT-4o。o1-mini 在 MMLU 等任务上的表现则不如 GPT-4o，并且由于缺乏广泛的世界知识而在 GPQA 基准上落后于 o1-preview。

人类偏好评估：OpenAI 让人类评分员在各个领域具有挑战性的开放式提示上比较 o1-mini 和 GPT-4o。与 o1-preview 类似，在推理密集型领域，o1-mini 比 GPT-4o 更受欢迎；但在以语言为中心的领域，o1-mini 并不比 GPT-4o 更受欢迎。

模型速度

在速度层面，OpenAI 比较了 GPT-4o、o1-mini 和 o1-preview 对一个单词推理问题的回答。结果显示，GPT-4o 回答不正确，而 o1-mini 和 o1-preview 均回答正确，并且 o1-mini 得出答案的速度快了大约 3-5 倍。