谷歌发布号称超过GPT-4V的大模型Gemini：4个版本，最大的Gemini的MMLU得分90.04，首次超过90的大模型

谷歌在几个小时前发布了Gemini大模型，号称历史最强的大模型。这是一系列的多模态的大模型，在各项评分中超过了GPT-4V，可能是目前最强的模型。

• Gemini总体简介
  • Gemini-Ultra
  • Gemini-Pro
  • Gemini-Nano
• Gemini的技术细节
• Gemini的评测结果
• Gemini的后续使用

Gemini总体简介

Gemini系列是多模态大模型，支持文本、语音、图片和视频，输出，原生支持32K的输入序列！

Gemini分为三个版本，最大的是Gemini-Ultra，然后是Gemini-Pro，最小的是Gemini-Nano；

以下是关于Gemini模型的10个关键信息：

1. 版本：包括Gemini-Ultra、Gemini-Pro和Gemini-Nano三个版本。
2. Gemini-Ultra：最大型号，据猜测拥有超过3000亿参数。
3. Gemini-Pro：中等规模，据猜测拥有超过1000亿参数。
4. Gemini-Nano：提供两个版本，参数分别为18亿和32.5亿，适用于低内存和高内存设备。
5. 性能：Gemini-Ultra在多项基准测试中超过GPT-4V。
6. 多模态能力：Gemini系列在处理复杂任务和多模态任务方面表现卓越。
7. MMLU得分：Gemini-Ultra在MMLU（多模态语言理解）测试中得分90.04，是首个超过90分的大型模型。
8. Gemini-Ultra的代码评测结果76.4，不如微软测试的GPT-4（82分）
9. Gemini-Pro目前已经更新到Google Bard中
10. 12月13日可以开发者申请接口。

Gemini-Ultra

Gemini-Ultra是最大规模参数版本，没有公布具体参数，据猜测超过了3000亿规模，在科学推理、策略规划等复杂任务上具有很好的表现；

Gemini-Ultra在各项评测的结果都超过了GPT-4V；在自然语言处理相关的评测中，结果如下：

Gemini-Ultra将会在明年早些时候更新到Bard中。

Gemini-Ultra的模型信息卡地址：Gemini-ultra（Gemini-ultra）详细信息 | 名称、简介、使用方法，开源情况，商用授权信息 | 数据学习 (DataLearner)

Gemini-Pro

Gemini-Pro是比Ultra小一点版本的模型，也没有公布参数，据猜测在1000亿以上，在自然语言理解、可视化、分析等方面工作能力较强；

Gemini Pro据称已经在昨天的Google Bard上更新了，有Google Bard权限的童鞋可以使用对比；

Gemini-Pro的模型信息卡地址：Gemini-pro（Gemini-pro）详细信息 | 名称、简介、使用方法，开源情况，商用授权信息 | 数据学习 (DataLearner)

Gemini-Nano

其中Gemini-Nano分为两个版本：一个是18亿参数的Gemini-Nano1，一个是32.5亿参数的Gemini-Nano2，通过在较大规模模型蒸馏得到；

Gemini-Nano部署和推理可以使用4-bit量化版本获得最好的性能和成本的平衡，目标是移动设备部署；

Gemini-Nano的模型信息卡地址：Gemini-Nano（Gemini-Nano）详细信息 | 名称、简介、使用方法，开源情况，商用授权信息 | 数据学习 (DataLearner)

Gemini的技术细节

这部分和OpenAI一样，没有过多的细节，只知道这个模型是Decoder-only的transformer模型，但是针对谷歌的TPU和大规模训练做了优化。使用了多种不同的attention机制，包括multi-query attention。

Gemini的视频理解是通过将视频编码为大上下文窗口中的一系列帧来实现的。视频帧或图像可以自然地与文本或音频交织在一起，作为模型输入的一部分。模型可以处理可变的输入分辨率，以便在需要细粒度理解的任务上投入更多的计算资源。此外，Gemini可以直接摄取来自通用语音模型（USM）特征的16kHz音频信号。这使得模型能够捕捉那些通常在音频被简单地映射到文本输入时会丢失的细微差别。

关于Gemini的详细介绍参考原文：谷歌发布号称超过GPT-4V的大模型Gemini：4个版本，最大的Gemini的MMLU得分90.04，首次超过90的大模型 | 数据学习者官方网站(Datalearner)