最新！ Gemini 1.5 Pro: 现已在 180 多个国家/地区发布；提供本地音频理解、系统说明、JSON 模式等功能！

概述

不久前，Gemini团队在Google AI Studio中推出了先进的Gemini 1.5 Pro模型，邀请开发者们进行体验和测试。社区成员利用Gemini模型的100万个上下文窗口进行的调试、创新和学习成果，令我们感到惊喜不已。

4月9号，Gemini团队骄傲地宣布，Gemini 1.5 Pro模型的公开预览版将在180多个国家/地区推出。这是我们首次提供原生音频（语音）理解功能和全新的文件API，以便开发者更加便捷地处理文件。此外，我们还引入了系统说明和JSON模式等创新功能，赋予开发者更精细的模型输出控制能力。最终，我们还将发布性能卓越的下一代文本嵌入模型，其性能将超越市场上的其他模型。

请前往Google AI Studio获取或管理您的API密钥，并开始使用Gemini API Cookbook，探索和构建下一代的智能应用。

应用

利用音频和视频模式开启新的应用案例

Gemini团队正在不断推进Gemini 1.5 Pro模型的功能升级，他们正在积极扩展其输入模式，以便更好地整合Gemini API以及Google AI Studio中的音频（语音）理解功能。这一改进将极大地丰富模型的输入类型，提高其在多样化场景下的适应性和应用范围。

此外，针对在Google AI Studio中上传的视频内容，Gemini 1.5 Pro现在具备了对图像（帧）和音频（语音）数据进行综合推理的能力。这意味着模型能够从视频资料中提取和理解更加丰富和复杂的信息，为用户提供更加精准和深入的分析结果。

改进

1. 系统指令特性：为了精准引导模型的响应，Gemini团队引入了系统指令这一强大的功能。目前，这一特性已在Google AI Studio和Gemini API中得到实现。通过精心定义角色、格式、目标和规则，系统指令能够为各种特定用例量身定制模型的行为模式。这样的设计不仅增强了模型的适应性，也确保了其输出结果能够更好地满足用户的个性化需求。

   

2. JSON模式功能：为了更有效地管理和利用模型输出的数据，Gemini团队引入了JSON模式功能。此功能指导模型仅输出JSON对象格式的响应，使得从文本或图像中提取的结构化数据更加规范化、易于处理。目前，用户可以通过cURL命令开始体验这一功能，而Python SDK的对应支持也即将面世，为开发者提供更多编程便利。

3. 优化的函数调用机制：Gemini 1.5 Pro模型现在提供了更为灵活的输出控制选项，允许用户根据需要选择性地限制模型的输出模式。这一改进不仅提升了模型输出的可靠性，也为用户提供了文本、函数调用或函数本身等多种输出形式的自由选择。这样的设计使得Gemini 1.5 Pro模型能够更好地适应各种复杂的应用场景，满足不同用户的具体需求。

新模型

Gemini团队开发人员现在可以通过Gemini API接入我们最新研发的高性能文本嵌入模型。这款名为text-embedding-004的模型（在Vertex AI中称为text-embedding-preview-0409）在MTEB基准测试中展现了卓越的检索性能，其表现超越了市场上同类可比维度的现有模型。

参考：

1. https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html