成本降低98%！OpenAI开发者大会4大新能力，处理token猛增50倍！-CSDN博客

本文链接：https://blog.csdn.net/musicml/article/details/142792282

▼国庆直播超级多，预约保你有收获

—1—

OpenAI 第二届开发者大会

在今日凌晨，OpenAI 于美国旧金山举办了第二届开发者大会，推出了四项全新的 API 功能。

这些功能涵盖了实时 API、微调 API 中融入的视觉能力、API 提示的缓存机制以及 API模型的蒸馏技术，极大地简化了模型调用、微调和蒸馏等步骤，使得开发过程变得异常简便高效，几乎达到了“一键式”操作。

Sam Altman 指出，借助这些创新 API 功能，不仅能够打造出强大且多样化的生成式 AI 应用，还能将 GPT-4、GPT-4o mini 等模型的成本削减至 2%，并且在处理 token 的数量上实现了50倍的增长。

—2—

4 大 API 功能

一、实时 API

在最新的开发者大会上，OpenAI 正式推出了实时 API 的公开测试版，现在所有付费开发者都可以在自己的应用程序中实现低延迟、多模态的生成式 AI 功能。

实时 API 提供了类似于最近推出的 ChatGPT 的高级语音功能，支持使用 API 内置的6种预设声音进行流畅的语音对话。这意味着，开发者现在可以将ChatGPT 的多模态语音特性整合到自己的应用中。

例如，开发者可以创建一个外语口语练习应用，利用 ChatGPT 的语音功能帮助用户改善发音。

OpenAI 还增加了聊天完成 API 的音频输入和输出功能，以适应那些不需要实时 API 低延迟特性的场景。开发者可以将文本或音频数据传递给 GPT-4o，模型将根据开发者的选择以文本、音频或两者的结合形式回应。

得益于实时 API 的推出，以及即将在聊天完成 API 中增加的音频功能，开发者不再需要将多个模型组合使用。只需一个 API 调用，就能构建出自然的对话体验。

关于费用，实时 API 的定价如下：文本输入 token 的价格为每100万个5美元，输出 token 为每100万个20美元。音频输入的价格为每100万个100美元，输出则为每100万个200美元。这意味着每分钟的音频输入成本大约为0.06美元，每分钟的音频输出成本大约为0.24美元，整体性价比非常高。

二、视觉功能引入微调 API

自 OpenAI 为 GPT-4o 推出微调功能后，数十万开发者已用文本数据集定制模型，以提升特定任务表现。但文本微调有时不足以满足需求。

因此，OpenAI 为 GPT-4o API增加了视觉微调，允许通过图像数据定制模型，增强图像理解能力，用于视觉搜索、自动驾驶、智能城市和医学图像分析等。

视觉微调流程与文本微调相似，开发者需准备至少100张图像的数据集上传至OpenAI 平台。例如，Automat 平台通过视觉微调和200张图像训练，将 GPT-4o 的UI元素定位成功率从16.60%提升至61.67%，性能提升272%，信息提取F1分数提高7%。