GPT4o速测：约0.5秒延迟的多模态能力

已于 2024-06-07 11:19:24 修改
阅读量754 收藏 9
点赞数 4
分类专栏： rob-agent / aigc 文章标签： 人工智能 多模态 gpt openai
于 2024-05-14 11:07:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JishuFengyang/article/details/138845107
版权
GPT-4o是OpenAI的最新全能模型，融合多模态输入，提升了推理速度和指令遵循性。平均响应时长仅320毫秒，显著优于GPT-4的2.8秒和5.4秒延迟。模型在保持指令一致性、生成长内容和人格化表达方面有所增强，未来还将支持实时多模态输入输出。
摘要由CSDN通过智能技术生成

文章目录

没有剪辑，约0.5秒延迟的多模态能力。

1. 测评

  • 推理速度异常快，比之前快了大概两三倍，对产品端来说是个很好的事情，想用gpt4级别性能终于可以少讨论几句时延影响用户体验了
  • 模型指令遵从能力变强，能够在较长的文本中保持指令的一致性，概括小说的效果变好了
  • 模型懒惰的问题有很大改善，现在的模型愿意输出比较长的内容
  • 措辞更加人格化，跟grok接近
  • 好多功能还没有推送，目前只有模型权重是新的，实时多模态输入输出都没有打开，等下个版本测评了

2. Intro

GPT-4o，o 代表 Omnimodel（全能模型）。

第一次，OpenAI 在一个模型中集成了所有模态，大幅提升了大模型的实用性。

在这里插入图片描述
主持人是 OpenAI 的首席技术官 Mira Murati，她表示，今天主要讲三件事：

第一，以后 OpenAI 做产品就是要免费优先，为的就是让更多的人能使用。

第二，因此 OpenAI 此次发布了桌面版本的程序和更新后的 UI，其使用起来更简单，也更自然。

第三，GPT-4 之后，新版本的大模型来了，名字

最低0.47元/天 解锁文章
猛码Memmat
关注
专栏目录
Math VISTA：多模态大模型之视觉上下文条件下的数学推理能力评估
pku_langzi的博客
10-29 652
引入了一个数学推理能力的评测集MATH Vista，包含七种数学推理类型，五个主要任务，31个子数据集，并且在LLM，visual augmented LLM，开源LMM，以及两个专有 LMM（即 GPT-4V、Bard）展开了广泛的评测（人类表现60.3%）
GPT-4o mini小型模型具备卓越的文本智能和多模态推理能力
weixin_66534253的博客
07-25 938
GPT-4o mini 是首个应用OpenAI 指令层次结构方法的模型，这有助于增强模型抵抗越狱、提示注入和系统提示提取的能力。这使得模型的响应更加可靠，并有助于在大规模应用中更安全地使用。GPT-4o mini 在学术基准测试中，无论是在文本智能还是多模态推理方面，都超越了 GPT-3.5 Turbo 和其他小型模型，并支持与 GPT-4o 相同的语言范围。
GPT-4o, 语音的 ChatGPT 时刻终于来了！
weixin_48827824的博客
05-20 1445
千呼万唤始出来，语音的 ChatGPT 时刻终于来了！当 ChatGPT 引爆世界后，语音的从业者就一直在期待、想象、实验、推进基于 LLM 的语音交互应用和技术，OpenAI 自己也推出了 Whisper 识别、合成的语音模型，但之前更多的是持续性的改进和小的创新，远未有当初 ChatGPT 那样颠覆性的体验和效果。今天，仍然是 OpenAI，AI 行业的风向标，他来了，带着 GPT-4o 来了！GPT-4o 中有很多方面的改进，然而，最大最颠覆性的，还是在语音交互。
浅谈GPT-4o, 语音的 ChatGPT 时刻！
weixin_48827824的博客
06-06 1224
千呼万唤始出来，语音的 ChatGPT 时刻终于来了！当 ChatGPT 引爆世界后，语音的从业者就一直在期待、想象、实验、推进基于 LLM 的语音交互应用和技术，OpenAI 自己也推出了 Whisper 识别、合成的语音模型，但之前更多的是持续性的改进和小的创新，远未有当初 ChatGPT 那样颠覆性的体验和效果。今天，仍然是 OpenAI，AI 行业的风向标，他来了，带着 GPT-4o 来了！GPT-4o 中有很多方面的改进，然而，最大最颠覆性的，还是在语音交互。
社区供稿丨GPT-4o 对实时互动与 RTC 的影响
声网的博客
05-29 1229
LLM迎来实时互动时代
【有啥问啥】OpenAI从GPT-4V到GPT-4o，再到GPT-4omini简介
Chauvin的博客
07-22 1988
GPT-4V是GPT-4的视觉增强版本，它能够处理和生成图像信息，进一步扩展了GPT模型的应用范围。GPT-4V在语言理解的基础上加入了视觉处理能力，使其在多模态任务中表现出色。GPT-4O是GPT-4的优化版本，旨在提高模型的计算效率和推理速度。GPT-4O在保持原有模型性能的前提下，通过优化算法和架构设计实现了更高的效率。GPT-4OMini是GPT-4O的轻量级版本，专为资源受限环境设计。它在保持高效性能的同时，大幅度减少了模型的参数数量和计算复杂度，使其适用于移动设备、嵌入式系统等场景。
生成-理解大一统：一文浅谈多模态大模型最新研究进展
Paper weekly
09-13 1092
在过去几年中，多模态智能的两个关键支柱——理解和生成，取得了显著进展。多模态大型语言模型（MLLMs），如 LLaVA，在视觉语言任务（例如视觉问答）中表现出色。同时，去噪扩散概率模型（DDPMs）在文本到图像/视频生成方面也取得了前所未有的成果。尽管在各自领域取得了这些成就，研究者们开始探索将这两者连接的潜力。近期的研究尝试将来自不同领域的专家模型组合成一个统一系统，以同时处理多模态理解和生成。...
速通GPT-3：《Language Models are Few-Shot Learners》全文解读
逐梦苍穹的博客
09-07 1422
速通Language Models are Few-Shot Learners文章，带你快速了解GPT-3
在实时语音交互上超过GPT-4o，端到端语音模型Mini-Omni部署
m0_71062934的博客
09-27 667
Mini-Omni是一个专注于音频的端到端会话模型，能够实现实时的语音输入和流式音频输出。 这意味着Mini-Omni能够在对话中同时处理语音和文本，而无需依赖额外的自动语音识别（ASR）或文本到语音（TTS）系统。 Mini-Omni模型采用了一种文本指导的语音生成方法，结合了批量并行策略，以进一步提升性能。 Mini-Omni的架构通过引入适配器来增强音频处理能力，并能够并行生成文本和音频令牌。 此外，模型还采用了流式解码技术，以支持实时交互。
政安晨【零基础玩转各类开源AI项目】基于本地Linux Ubuntu系统部署及应用Mini-Omni：让语言模型可以在媒体流中边听边说边思考 —— 一个致力于让自己成为多模态大语言模型“轮子”的家伙
政安晨——致力于AI人工智能数字互动领域
09-12 1212
Mini-Omni是一个开源的多模态大型语言模型，可以同时听、说和思考。它具有实时端到端的语音输入和流式音频输出的会话能力。
LLMOS与元宇宙：虚实融合的未来世界
AI天才研究院
08-23 608
在当今数字时代,我们正站在技术革命的风口浪尖。随着人工智能和虚拟现实技术的飞速发展,两个引人注目的概念正在重塑我们与数字世界的交互方式：LLMOS(大型语言模型操作系统)和元宇宙。这两个看似独立的技术领域,正在以令人惊叹的速度融合,为我们勾勒出一个虚实交织的未来世界蓝图。LLMOS,作为一种新型的操作系统范式,以大型语言模型为核心,旨在revolutionize我们与计算机系统的交互方式。它不再局限于传统的图形用户界面和命令行接口,而是通过自然语言理解和生成,为用户提供更直观、更智能的操作体验。
认知增强与人机协作：未来工作模式的探索
AI天才研究院
11-01 203
在21世纪的第三个十年，我们正站在一个前所未有的技术变革浪潮之巅。人工智能、大数据、物联网等新兴技术的迅猛发展，正在深刻地改变着我们的生活方式和工作模式。在这个智能时代，认知增强与人机协作作为两个关键概念，正在重新定义人类与机器的关系，并为未来的工作模式带来革命性的变革。传统的工作模式正面临着前所未有的挑战。随着信息爆炸和知识更新速度的加快，人类的认知能力似乎已经难以跟上时代的步伐。与此同时，人工智能技术的飞速发展又让许多人担心自己的工作岗位会被机器取代。
从基础到高级：AI大模型开发的技术栈
AI天才研究院
01-17 1449
人工智能（AI）技术在近年来取得了突飞猛进的发展，其中大模型（Large Language Models，LLMs）的出现更是掀起了新一轮的技术革命。从OpenAI的GPT系列到Google的BERT，再到更近期的Claude和PaLM，这些大模型展现出了惊人的语言理解和生成能力，正在重塑我们与技术交互的方式。然而，开发如此复杂的AI系统并非易事，它需要一整套完善的技术栈支持。本文旨在全面剖析AI大模型开发的技术栈，从基础理论到实际应用，为读者提供一个清晰而深入的认识。
深度学习之循环神经网络(RNN)
最新发布
weixin_43775295的博客
11-12 309
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
AI 大模型如何重塑软件开发流程与模式
lssffy的博客
11-12 251
在传统的软件开发流程中，开发者从需求分析开始，到架构设计、编码、测试、部署和维护，整个过程往往需要花费大量的时间与人力。开发者需要从零开始编写代码，并通过反复的调试和测试来确保代码质量。这种方式虽然严谨，但效率相对较低，并且容易出现人为错误。而 AI 大模型的加入为软件开发带来了革命性的变化。代码生成工具如 GitHub Copilot 等，能够根据开发者的自然语言提示自动生成代码，甚至能够理解上下文，从而大幅减少重复劳动。智能调试和测试工具可以快速发现潜在的错误，给出修复建议。
PCA（主成分分析）算法的应用场景
huanfeng_AI的博客
11-09 397
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
机器学习系列----岭回归（Ridge Regression）简介及实现
DK22151的博客
11-09 872
岭回归（Ridge Regression），也被称为Tikhonov正则化，是一种线性回归的变体。它通过在普通最小二乘法（OLS）回归中加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数，使得它们保持较小的值，从而减少过拟合的风险。岭回归适用于当特征之间高度相关时（即多重共线性问题），普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项，约束了模型参数的大小，从而使得模型更加稳健。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 2965
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
【Node-Red】使用文件或相机拍摄实现图像识别
weixin_43195420的博客
11-12 553
使用文件或相机拍照实现图像识别
GPT-4：超越前代的多模态AI模型
- 多模态交互: GPT-4的多模态能力意味着它可以在视觉和文本之间实现有效的互动，提供更加丰富的用户体验。 4. GPT-4的开放情况: - 访问权限: 开通了ChatGPT Plus的付费用户目前可以选择使用GPT-4模型，而其他用户则...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猛码Memmat

欢迎支持，随缘打赏 ~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值