OpenAI爆炸更新！新模型GPT-4o发布！超强的视觉和语音能力

传说，这一夜，OpenAI要改变历史。

看完发布会，我只能说 太震撼了！！！！！真的是改变历史的时刻。

OpenAI最新旗舰大模型GPT-4o，不仅免费可用，能力更是横跨听图片、看图片、真人对话，丝滑流畅毫无延迟，就像在打一个视频电话。

本次发布会的主要信息是：

1. 以后 OpenAI 做产品就是要免费优先，为的就是让更多的人能使用。
2. OpenAI 此次发布了桌面版本的程序和更新后的 UI，其使用起来更简单，也更自然。
3. GPT-4 之后，新版本的大模型来了，名字叫 GPT-4o。GPT-4o 的特别之处在于它以极为自然的交互方式为每个人带来了 GPT-4 级别的智能，包括免费用户。

本场发布会的重头戏就是 GPT-4o。

GPT-4o现场直播的效果更是炸裂。

它能感受到你的呼吸节奏，也能用比以前更丰富的语气实时回复，甚至可以做到随时打断。

它可以在短至232毫秒、平均320毫秒的时间内响应音频输入，与人类在对话中的反应速度一致。

这还是一份给所有人的大礼，GPT4-o与ChatGPT Plus会员版所有的能力，包括视觉、联网、记忆、执行代码、GPT Store……

将对所有用户免费开放！

而这样的超强模型也将提供API，价格打5折，速度提高一倍，单位时间调用次数足足是原来的5倍！

新模型GPT-4o

新模型GPT-4o发布，免费开放！可实时语音交互，支持复杂视觉理解

从模型能力更新上来说，GPT-4o不仅加强了多语言支持，改进了对50种不同语言的处理质量和速度。而且，比较值得关注是其跨模态的能力升级。

其中，GPT-4o 的一大看点就是其具备了实时语音交互的能力，这意味着，你可以像跟真人通话一样去跟ChatGPT语音聊天了。而且，其在语音模式下具备包括讲话打断、即时反应和情感识别能力。

此外，GPT-4o 的视觉能力也得到了大幅强化。

GPT-4o 可整合处理视觉和文本信息——GPT-4o 能够同时处理和理解图像以及图像中包含的文本内容。这意味着用户可以上传包含文本的截图、照片或文档，GPT-4o能够识别并解析这些图像中的文字信息，与传统的文本输入方式无缝整合。

下面来一组新老 GPT-4 模型回答质量的对比，感受一下吧：

简直快的不得了 问了几个问题, 同样的问题 GPT4 反应了 9 秒 4o 则 3 秒左右就开始输出了。

目前并非所有普通用户都可以免费使用 16 次/3 小时 的 GPT-4o 模型，官方正在逐步放开资源。许多 Plus 用户同样没有收到。

如果想要尽快使用GPT-4o，可以考虑升级到ChatGPT Plus，这样就可有更快灰度到。

按照 ChatGPT Plus升级教程 ，1分钟就可以完成ChatGPT Plus升级。

GPT-4o API，价格便宜一半

除了向用户提供GPT-4o之外，OpenAI还将其作为API提供给开发者，这意味着开发者可以使用这一强大的模型来构建自己的应用程序，并且在速度、成本和功能上都有所提升。

而且，相比如今的GPT-4-Turbo系列API，GPT-4o不仅能力更强，速度更快，而且API价格也仅为前者的一半。

通过官网上就可以看到GPT-4o的价格确实更加便宜了。

referer：openai.com/api/pricing…

接口方面，目前已开放 GPT-4o 模型，Tier5 等级对应速率如下：

GPT-4o API只要申请了API的权限就可以立马使用。

根据ChatGPT API申请教程，可以快速申请GPT-4o API权限，不需要等到灰度ChatGPT Plus才能使用。

桌面版APP发布

发布会还宣布了桌面版 ChatGPT APP 的发布，这一版本旨在使用户界面更加简单自然，提升用户体验。

只需一个简单的快捷键——Option+空格键，就可以立即召唤桌面版ChatGPT。

甚至，你也可以直接在应用程序中截图，并进行提问。

对于免费和付费用户，OpenAI 还推出了适用于 macOS 的新 ChatGPT 桌面应用程序。通过简单的键盘快捷键（Option + Space），用户可以立即向 ChatGPT 提问，此外，用户还可以直接在应用程序中截取屏幕截图并进行讨论。

从今天开始，OpenAI 将向 Plus 用户推出 macOS 应用程序，并将在未来几周内更广泛地提供该应用程序。此外今年晚些时候 OpenAI 会推出 Windows 版本。

按照 ChatGPT Plus升级教程 ，1分钟就可以完成ChatGPT Plus升级。

Claude3 VS GPT-4o

今天OpenAI的发布会这对友商来说，可以说是一个非常残酷的打击。

我觉得在这场发布会之后，最崩溃的就是OpenAI的竞争对手了——尤其是国外的大模型厂商。当大家还在不计成本的苦苦研究如何真正追上GPT-4的体验的时候，竞争对手竟然直接将这个模型免费开放给用户使用了。

尽管OpenAI当下最为强有力的竞争对手Anthropic发布的Claude 3 Opus已经在体验上超越了GPT-4，并且其在用户端积累了一定的共识，但Claude 3 Opus的价格相比GPT-4非常昂贵，且不稳定，经常出现无法连接的情况。

如果GPT-4o真的效果显著反超了Claude 3 Opus而且还免费，那么可以说Anthropic弯道超车的可能性就更加渺茫了。

具体来说，在多项基准测试中，GPT-4o 在文本、推理和编码智能方面实现了 GPT-4 Turbo 级别的性能，同时在多语言、音频和视觉功能上实现了新高。

恭喜GPT-4o重登王座！！！

ChatGPT 用户将免费获得更多高级功能

每周都有超过一亿人使用 ChatGPT，OpenAI 表示 GPT-4o 的文本和图像功能今天开始免费在 ChatGPT 中推出，并向 Plus 用户提供高达 5 倍的消息上限。

对于免费用户：

• 从今天开始，所用的用户都可以使用GPTs 和 GPT 商店，甚至还可以使用 Vision！所以现在我们不仅可以上传包含文本和图像的屏幕截图、照片、文档。
• 可以使用memory功能，现在它与我们的所有对话都有一种连续性。
• 可以使用“浏览”功能，在对话中搜索实时信息和高级数据分析，我们可以上传图表或任何信息，然后进行分析。并且改进了 ChatGPT 的 50 种不同语言的质量和速度。（希望ChatGPT不要再变笨！）

对于付费用户：

• 将继续拥有高达免费用户五倍的容量限制。

总结

2024下半年，将是一个非常令人期待的时代。

我也相信，未来的时代将是人工智能爆发的时代，我也很庆幸能够见证和参与这个伟大的历史变更。

OpenAI说要改变历史，他们做到了！今夜的发布会上，「Her」彻底成真。GPT-4o加持的ChatGPT，和人类的对话丝滑得像个真人，惊掉在场所有观众的下巴。眼看着科幻中的设想一件件成真，活在这个奇点临近的时代，我们何其幸运。

当然上面的发布的功能，比如桌面版的应用和更快的响应速度还是需要ChatGPT PLus 才可以访问。

可以按照 升级ChatGPT Plus教程，1分钟就可有完成升级。

大模型相关内容之所以那么火，与其相结合的技术原理绝对不容忽视，为了能让大家更能进一步了解时下大模型相关前沿热点，我们特邀QS前50博导、大厂算法研究员等多位大牛打造了大模型系列课程

免费领导师推荐150篇大模型论文合集&复现代码

---

部分授课ppt&代码复现&论文展示

课程概览

**系列1：**万物皆可大模型系列

1.GPT Plugin背后的原理

2.大模型与数据库交互

3.大模型玩Minecraft

系列2：如何蹭ChatGPT的顶会写一篇论文

1.回顾ChatGPT的训练算法

2.拆解讲解InstructGPT

3.讲解Instruction tuning的应用并在此基础上提出新的idea0

4.学习顶会论文的写作套路

**
**

系列3：大模型x知识图谱前瞻性进化路线

1.知识图谱组成要素及其分类

2.知识图谱和 LLM 融合路线

3.知识图谱增强 LLM 的方法

系列4：惊艳的大模型高效参数微调法

1.大模型微调-任务特定的P-tuning

2.大模型微调-任务/模型无关的LORA

3.大模型微调方法-Peft库使用实践(实战篇,

系列5：大模型超级外挂:RAG让LLM不再胡说八道

1.目前主流视频生成模式

2.主流模式的缺点

3.sora的工作原理及优点

系列6：惊艳的文本生成模型SORA

1.目前主流视频生成模式

2.主流模式的缺点

3.sora的工作原理及优点

大模型必然是未来很长一段时间我们工作生活的一部分，而对于这样一个与我们生活高度同频互动的“大家伙”，除了性能、效率、成本等问题外，大规模语言模型的安全问题几乎是大模型所面对的所有挑战之中的重中之重，机器幻觉是大模型目前还没有极佳解决方案的主要问题，大模型输出的有偏差或有害的幻觉将会对使用者造成严重后果。同时，随着 LLMs 的“公信度”越来越高，用户可能会过度依赖 LLMs 并相信它们能够提供准确的信息，这点可以预见的趋势增加了大模型的安全风险。

免费领导师推荐150篇大模型论文合集&复现代码

*****

**
**

部分授课ppt&代码复现&论文展示

最后，展望一下大模型研究的未来，目前大模型主要面临的挑战可以被归类如下：

1. 实践验证：当前针对大模型的评估数据集往往是更像“玩具”的学术数据集，但是这些学术数据集无法完全反应现实世界中形形色色的问题与挑战，因此亟需实际的数据集在多样化、复杂的现实问题上对模型进行评估，确保模型可以应对现实世界的挑战；
2. 模型对齐：大模型的强大也引出了另一个问题，模型应该与人类的价值观选择进行对齐，确保模型行为符合预期，不会“强化”不良结果，作为一个高级的复杂系统，如果不认真处理这种道德问题，有可能会为人类酝酿一场灾难；
3. 安全隐患：大模型的研究要进一步强调安全问题，消除安全隐患，需要具体的研究确保大模型的安全研发，需要更多的做好模型的可解释性、监督管理工作，安全问题应该是模型开发的重要组成部分，而非锦上添花可有可无的装饰；
4. 模型未来：模型的性能还会随着模型规模的增加而增长吗？，这个问题估计 OpenAI 也难以回答，我们针对大模型的神奇现象的了解仍然十分有限，针对大模型原理性的见解仍然十分珍贵。