更快！更自然！OpenAI推出GPT-4o，记者实测→

导读：第一财经记者使用GPT-4o来描述图片，发现其生成结果较准确，5秒左右就能生成描述图片的文字。

当地时间5月13日，OpenAI通过直播展示了产品更新。与此前传出的市场消息不同，OpenAI并未推出搜索引擎，也未推出GPT-4.5或GPT-5，而是发布了GPT-4系列新模型GPT-4o以及AI聊天机器人ChatGPT的桌面版本，聚焦多模态和端侧应用。

此前OpenAI公司CEO奥尔特曼（Sam Altman）就已经否认了公司将会发布GPT-5，他表示新版GPT非常“神奇”。根据OpenAI官方网站介绍，GPT-4o中的“o”代表Omni，也就是“全能”的意思。

据介绍，GPT-4o文本、推理、编码能力达到GPT-4 Turbo水平，速度是上一代AI大模型GPT-4 Turbo的两倍，但成本仅为GPT-4 Turbo的一半，视频、音频功能得到改善。OpenAI CEO奥尔特曼（Sam Altman）在博客中表示，ChatGPT免费用户也能用上新发布的GPT-4o。此外，OpenAI还与苹果走到一起，推出了适用于macOS的桌面级应用。

OpenAI技术负责人Mira Murati在直播中表示：“这是我们第一次在易用性方面真正迈出的一大步。”

价格低于GPT-4 Turbo

OpenAI研究员Mark Chen表示，新模型具有“感知情绪”的能力，能输出笑声、歌唱或表达情感，还可以处理用户打断它的情况。

在直播中，OpenAI演示了一段OpenAI员工与GPT-4o对话的视频，模型反应速度与人类相近，GPT-4o可利用手机摄像头描述其“看到”的东西。

另一段展示视频里，GPT-4o被装在两个手机上，其中一个代表人类与电信公司打电话沟通设备更换事项，另一个GPT-4o扮演电信公司客服人员。OpenAI还展示了GPT-4o搭载在手机上的实时翻译能力。

根据OpenAI介绍，GPT-4o与GPT-3.5、GPT-4的语音对谈机制不同。GPT-3.5和GPT-4会先将音频转换为文本，再接收文本生成文本，最后将文本转换为音频，经历这三个过程，音频中的情感表达等信息会被折损，而GPT-4o是跨文本、视觉和音频的端到端模型，是OpenAI第一个综合了这些维度的模型，可更好进行对谈。

OpenAI将GPT-4o定位为GPT-4性能级别的模型。据介绍，GPT-4o在传统基准测试中，文本、推理、编码能力达到GPT-4 Turbo的水平。该模型接收文本、音频和图像输入时，平均320毫秒响应音频输入，与人类对话中的响应时间相似，英文文本和代码能力与GPT-4 Turbo相当，在非英文文本上有改善，提高了ChatGPT针对50种不同语言的质量和速度，并通过OpenAI的API提供给开发人员，使其即时就可以开始使用新模型构建应用程序。

第一财经记者在OpenAI官网看到，GPT-4o输入、输出每1M token（文本单位）收费0.005美元、0.015美元，GPT-4 Turbo输入、输出每1M token收费0.01美元、0.03美元。

“在过去两年中，我们花了大量精力在堆栈的每一层上提高-效率，作为这项研究的第一个成果，我们能使GPT-4级别的模型更广泛应用，GPT-4o即日起扩展红队访问权限。”OpenAI官网称，GPT-4o的文本和图像功能今日在ChatGPT中推出，“我们计划在未来几周内在API中向一小部分值得信赖的合作伙伴推出对GPT-4o新音频和视频功能的支持。”

第一财经记者在ChatGPT网站看到，ChatGPT已接入GPT-4o有限访问权限，但免费用户还不能使用图片生成功能。

记者使用了GPT-4o来描述图片，发现其生成结果较准确，5秒左右就能生成描述图片的文字。

此外，OpenAI还宣布推出一款适用于macOS的桌面级应用，使用键盘快捷键就可向ChatGPT提问。用户可通过电脑与ChatGPT语音对话，GPT-4o的新音频和视频功能后续将推出。OpenAI已向Plus用户推出macOS应用程序，今年晚些时候还将推出Windows版本。

值得注意的是，近日还有消息传出苹果与OpenAI商谈，以便在下一代iPhone操作系统使用ChatGPT功能。此次OpenAI重点展示了大模型在手机端侧应用的能力。

不过，此次OpenAI并未发布关于新模型的论文或技术文档。

今日，OpenAI特别强调了新模型的风险和局限性。该公司称：“GPT-4o的音频模式带来了各种新的风险。在接下来的几周和几个月里，我们将更关注技术基础设施、培训后的可用性以及发布其他模式所需的安全性。例如，在发布时，音频输出将仅限于选择预设的声音，并将遵守我们现有的安全政策。”

发力端侧应用

不少科技界人士发表了对OpenAI此次产品更新的看法。“我没想到GPT-4o会接近GPT-5。传闻中OpenAI的‘Arrakis’模型就采用多模态输入和输入。事实上，它可能是GPT-5的一个早期检查点（checkpoint），尚未完成训练。”英伟达高级科学家Jim Fan在社交媒体上评论称。

Jim Fan认为，在谷歌召开I/O大会前，OpenAI宁愿发布超过人们对GPT-4.5心理预期的产品，也不愿因为推出达不到人们期望的GPT-5，而让人感到失望。此外，谁先赢得苹果，谁就将大获全胜，与iOS整合有几个层次，例如抛弃Siri，OpenAI为iOS提炼出一个更小层级、设备上运行的GPT-4o。虽然此次未公开相关论文，加利福尼亚大学圣克鲁兹分校教授Xin Eric Wang还是评论认为，一个演示胜过千篇论文。

“比较让人失望的是，这次OpenAI没有发布GPT-5，连GPT-4.5都没看到。OpenAI发布了一系列应用，最重要的是发布了语音助手，由于使用了端到端大模型技术，体验远超Siri。OpenAI发布应用，恰恰说明应用在人工智能领域大有可为。目前看来，GPT-5可能还要‘难产’一段时间。”猎豹移动董事长兼CEO傅盛表示。

近期业内对大模型在既有参数下推动应用落地、商业变现多有讨论。OpenAI在继续研发下一代更大参数模型GPT-5的同时，也在推动价格下降、应用场景和用户群体扩大。

从API价格看，GPT-3.5 Turbo输入、输出每1M token（文本单位）收费0.0005美元、0.0015美元，GPT-4为0.03美元、0.06美元，GPT-4之后定价就持续下降。今年4月，OpenAI还宣布ChatGPT无需注册便可使用，此举被业界解读为扩大用户群体的努力，或其算力成本得到一定下降。此次产品更新后，奥尔特曼在其博客中强调，OpenAI使命的一个关键部分是让强大的人工智能工具免费，或以一个不错的价格推出。

包括OpenAI推出macOS桌面级应用在内，业内近期对大模型落地端侧多有期待。苹果就多次传出与大模型厂商洽谈合作，苹果自身还在端侧小模型领域布局，并推出可支持AI运行、性能更强的M4芯片。

近日一场对谈中，金沙江创投主管合伙人朱啸虎也判断，此前Meta发布的Llama3系列两个小模型性能强大，iPad Pro则用了M4芯片，以后端侧可能就直接跑一个小模型了。几百亿参数的小模型也可在端侧直接跑，尤其是今年下半年iPhone新品可能就类似，明年应用层将会爆发。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】