别错过！实时语音API、GPT-4o多模态、Azure OpenAI同步上新！

1.GPT-4o-Realtime API同步上新Azure OpenAI

在开发者大会上，OpenAI宣布重磅消息：实时语音API公测版开放，让开发者能够轻松集成GPT的实时、低延迟多模态交互功能。

现在，开发者可以利用6种预设进行语音交互，价格优惠：音频输入每分钟5美元，输出每分钟20美元。

GPT-4o-Realtime API的新功能有哪些？

GPT-4o-Realtime API支持音频输入和输出，实现超越传统基于文本的 AI 对话的实时、自然的语音交互。

Azure AI Studio的早期访问游乐场为开发者提供了一个试验音频功能的专属空间，是测试、微调和优化语音交互的理想环境。

GPT-4o-Realtime-Preview版本正以Azure OpenAI服务为平台，遍及各个行业：

响应更快：GPT-4o-Realtime API for Audio 提供的语音响应速度比许多传统的文本转语音引擎快得多，从而减少了延迟并实现了更流畅的交互。 

自然对话：该模型最大限度地减少了人工智能生成的语音中经常出现的机器人语调，使对话听起来更具吸引力。 

多语言支持：该API支持多种语言，允许进行自然的多语言对话，并可应用于面向全球的应用程序。 

2.GPT-4o更新视觉微调功能

OpenAI在GPT-4o上推出视觉微调功能，让开发者能以图像和文本定制AI的视觉理解！

就像文本微调一样，现在只需准备数据集并上传，就能让模型在视觉搜索、生成和检测上更上一层楼。

东南亚配送Grab公司用100个样本微调后，在车道计数和限速标志定位上分别提升了20%和13%，超越了原始模型！

而且，直到本月31日，每位开发者都能获得1000万个免费训练token来微调GPT-4o。

但之后，就要收费了：每100万个token 25美元，推理费3.75美元，输出token费15美元。

OpenAI CEO Sam Altman在社交媒体上高调宣布，他们成功降低了成本。

3.OpenAI发布提示缓存功能

OpenAI洞察到开发者在构建AI应用程序时面临的一个常见挑战：在多轮API调用中反复使用相同上下文，无论是编辑代码库还是与聊天机器人进行长时间的对话。

为了破解这一难题，OpenAI重磅推出了“提示缓存”（Prompt Caching）功能，这一创新能够智能识别并缓存模型最近处理的输入tokens，极大提升了处理效率，减少了重复劳动，为开发者节省了宝贵的时间和资源。

更令人振奋的是，这一系统不仅自动为模型最近见过的输入tokens提供50%的折扣，而且实际上，它已经将这一省钱秘诀自动化。

与Gemini、Claude以及Kimi等平台相比，OpenAI的独特之处在于它的自动化处理。

开发者再也不需要手动配置或管理缓存，OpenAI的智能系统将自动优化输入tokens的缓存和重用。
 

Azure OpenAI 缓存提示（即将推出）：通过 GPT-4o 和 o1 模型上的缓存进行更便宜、更快的推理。 

4.模型蒸馏（Model Distillation）

模型蒸馏（Model Distillation）来袭！OpenAI开创性地提出一种尖端技术，利用顶尖模型如o1-preview和GPT-4o的输出来微调GPT-4o mini等小型模型，释放出更卓越模型性能的潜能。

OpenAI的蒸馏套件是一套强大的三合一解决方案：

存储完成 — 开发者现可自动捕获并存储API生成的输入输出对，一键生成用于蒸馏的数据集。

自定义评估— 开发者能够自由创建和执行自定义评估，运用已存储的数据或上传新的数据集，以精准评测模型性能。

完成后微调 — 结合存储完成和自定义评估，开发者可以运用生成的数据集进行微调，并执行模型评测，优化性能。

5.Azure OpenAI现可部署o1模型

Azure OpenAI 里面已上架o1-preview和o1-mini，现在可在Playground 预览和API部署调用。

模型适用于美国东部2 和瑞典中部的标准和全域标准部署，以供已申请的客户使用。

o1 系列高级推理模型在以下复杂而微妙的问题领域表现出色： 

复杂代码生成：能够执行算法生成和高级编码任务，以帮助开发人员。 

高级问题解决方案：非常适合全面的头脑风暴会议和解决多方面的问题。 

复杂文档比较：非常适合分析合同、案件档案或法律文件以辨别细微的差别。 

指令遵循和工作流管理：特别擅长处理需要较短上下文的工作流。

企业申请OpenAI o1模型https://www.snowengine.cn/AzureOpenAi