中型多模态大模型-谷歌Gemini 1.5系列解读

2024 年 2 月，谷歌这次推出的是用于早期测试的 Gemini 1.5 的第一个版本 ——Gemini 1.5 Pro。

它是一种中型多模态模型（涉及文本、视频、音频），性能水平与谷歌迄今为止最大的模型 1.0 Ultra 类似，并引入了长上下文理解方面的突破性实验特征。

它能够稳定处理高达 100 万 token（相当于 1 小时的视频、11 小时的音频、超过 3 万行代码或 70 万个单词），极限为 1000 万 token（相当于《指环王》三部曲），创下了最长上下文窗口的纪录。

它还能仅靠一本 500 页的语法书、 2000 条双语词条和 400 个额外的平行句子学会一门小语种的翻译（网络上没有相关资料），翻译得分接近人类学习者。

在另一个代码相关的测试中，Gemini 1.5 Pro 也表现出了强大的检索能力（在代码库中查找出最相关的示例）、理解能力（找到控制动画的代码并给出自定义代码的建议）和跨模态的能力（凭截图找到演示并指导如何编辑图像代码）。