GPT-4o的多模态能力、实时交互能力展示

简介

GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一大步——它接受文本、音频、图像和视频的任意组合作为输入，并生成文本、音频和图像的任意组合作为输出。它可以在232毫秒内响应音频输入，平均响应时间为320毫秒，这与人类在对话中的响应时间相似。它在英文文本和代码方面与GPT-4 Turbo性能相当，并且在非英语文本方面有显著改进，同时速度更快且API费用降低了50%。与现有模型相比，GPT-4o在视觉和音频理解方面表现特别出色。

在GPT-4o之前，你可以使用语音模式与ChatGPT交谈，平均延迟为2.8秒（GPT-3.5）和5.4秒（GPT-4）。为了实现这一点，语音模式是一个由三个独立模型组成的管道：一个简单模型将音频转录为文本，GPT-3.5或GPT-4接受文本并输出文本，第三个简单模型将文本转换回音频。这个过程意味着主要智能源GPT-4丢失了很多信息——它不能直接观察到语调、多个说话者或背景噪音，并且不能输出笑声、歌唱或表达情感。

有了GPT-4o，我们训练了一个全新的模型，它贯穿了文本、视觉和音频，这意味着所有输入和输出都由同一个神经网络处理。由于GPT-4o是我们第一个结合所有这些模态的模型，我们仍然只是初步探索了模型的功能和局限性。

GPT-4o可以理解视频内容，语音内容ÿ