GPT-4o Mini：高性价比的AI模型

乌南竹

已于 2024-07-20 10:42:01 修改

阅读量36

点赞数

文章标签： gpt ai

于 2024-07-20 10:41:19 首次发布

原文链接：https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/

版权

OpenAI今天凌晨发布了GPT-4o Mini模型，奥特曼介绍中说“两年时间模型成本下降了99%”。先说结论，从OpenAI官方提供的测评数据上看，GPT-4o mini的模型能力在行业基准测试中大部分基准测试都完胜同行业的同规格模型。仅在MathVista的测试中略低于Google的Gemini Flash模型。其余几项均完胜。

哎，这里不得不说一下国产模型的前路还有很长一段要走，至少先验出现在国外同行业的对比榜单上，吾辈加油啊。

对于做大模型的应用开发者而言，我们更多是如何更好的使用LLM，后面会整理下最近在研究的GraphRAG和MOA框架，感兴趣的大家可以关注下。

说回正题，下面转载一下OpenAI官方对模型的说明。以下内容来自OpenAI官方，根据个人能力翻译，想看原文的可以到这里查看，GPT-4o mini: advancing cost-efficient intelligence | OpenAI。

OpenAI致力于推广人工智能。今天，我们宣布推出GPT-4o mini，这是我们性价比最高的小型模型。GPT-4o mini的发布让AI模型更具性价比，我们期望这能扩大人工智能构建的应用范围。GPT-4o mini在MMLU上的得分为82%，目前在Chat会话上的能力优于GPT-41

GPT-4o mini的定价更便宜（这里我不翻译了，直接放图吧）

GPT-4o mini凭借其低成本和低延迟支持广泛的任务，例如链式或并行多个模型调用的应用程序（如调用多个API），向模型传递大量上下文（如完整的代码库或对话历史），或通过快速的实时文本响应与客户互动（如客户支持聊天机器人）。

目前，GPT-4o mini在API中支持文本和视觉，未来将支持文本、图像、视频和音频的输入和输出。该模型具有128K标记的上下文窗口，每次请求支持最多16K输出标记，并且拥有截至2023年10月的知识。由于与GPT-4o共享的改进的标记器，处理非英语文本现在更加经济实惠。

具有卓越文本智能和多模态推理的小型模型

GPT-4o mini在文本智能和多模态推理的学术基准测试中超越了GPT-3.5 Turbo和其他小型模型，并支持与GPT-4o相同范围的语言。它在函数调用方面也表现出色，这可以使开发人员构建从外部系统获取数据或执行操作的应用程序，并且在长上下文处理方面比GPT-3.5 Turbo有所改进。

GPT-4o mini已在多个关键基准测试中进行了评估。

推理任务：GPT-4o mini在涉及文本和视觉的推理任务中优于其他小型模型，在MMLU（一个文本智能和推理基准测试）上的得分为82.0%，相比之下，Gemini Flash得分为77.9%，Claude Haiku得分为73.8%。

数学和编码能力：GPT-4o mini在数学推理和编码任务中表现出色，超过了市场上之前的小型模型。在衡量数学推理的MGSM上，GPT-4o mini得分为87.0%，相比之下，Gemini Flash得分为75.5%，Claude Haiku得分为71.7%。在衡量编码性能的HumanEval上，GPT-4o mini得分为87.2%，相比之下，Gemini Flash得分为71.5%，Claude Haiku得分为75.9%。

多模态推理：GPT-4o mini在多模态推理评估MMMU上也表现出色，得分为59.4%，相比之下，Gemini Flash得分为56.1%，Claude Haiku得分为50.2%。

作为我们模型开发过程的一部分，我们与一些可信赖的合作伙伴合作，以更好地了解GPT-4o mini的使用场景和局限性。我们与Ramp和Superhuman等公司合作，他们发现GPT-4o mini在从收据文件中提取结构化数据或在提供邮件线程历史时生成高质量电子邮件回复等任务上表现显著优于GPT-3.5 Turbo。

内置安全措施

安全性从一开始就内置在我们的模型中，并在开发过程中的每一步得到强化。在预训练中，我们过滤掉不希望模型学习或输出的信息，例如仇恨言论、成人内容、主要汇集个人信息的网站和垃圾邮件。在后训练中，我们使用人类反馈的强化学习（RLHF）等技术使模型的行为与我们的政策保持一致，以提高模型响应的准确性和可靠性。GPT-4o mini 内置了与 GPT-4o 相同的安全防护措施，我们根据准备框架并结合我们的自愿承诺，通过自动化和人工评估仔细检查了这些措施。超过70位社会心理学和错误信息等领域的外部专家测试了 GPT-4o 以识别潜在风险，我们已经解决了这些问题，并计划在即将发布的 GPT-4o 系统卡和准备度评分卡中公布详细信息。这些专家评估的见解有助于提升 GPT-4o 和 GPT-4o mini 的安全性。

基于这些学习成果，我们的团队还使用受研究启发的新技术来提升 GPT-4o mini 的安全性。API 中的 GPT-4o mini 是第一个应用我们指令层次结构方法的模型，该方法有助于增强模型抵御越狱、提示注入和系统提示提取的能力。这使得模型的响应更加可靠，并有助于在大规模应用中更安全地使用该模型。

未来会继续监控 GPT-4o mini 的使用情况，并在识别新风险时改进其安全性。

可用性和定价

GPT-4o mini 现在作为文本和视觉模型在 Assistants API、Chat Completions API 和 Batch API 中提供。开发者支付每百万输入标记15美分和每百万输出标记60美分（大约相当于一本标准书籍的2500页）。我们计划在未来几天推出 GPT-4o mini 的微调功能。

在 ChatGPT 中，免费、Plus 和团队用户将从今天起可以访问 GPT-4o mini，替代 GPT-3.5。企业用户也将在下周开始访问，这与我们普及 AI 益处的使命一致。