Google 深夜突袭，Gemma 2 狂卷 Llama 3

整理 | Echo Tang

出品丨AI 科技大本营（ID：rgznai100）

Google 挤牙膏式的创新真是令人爱恨交织。

早在一个多月前的 Google I/O 上，Google 便官宣将会在未来几周内推出开源模型 Gemma 的第二代 Gemma 2，结果，万万没想到，深夜更新，弄得笔者垂睡之中惊坐起。

Google DeepMind 研究 VP Clement Farabet、主管 Tris Warkentin 联袂发文，宣告 Gemma 2 正式向所有研究人员和开发者开放，接下来，就让我们一起来看 Gemma 2 究竟带来了什么。

博文链接：

https://blog.google/technology/developers/google-gemma-2/

以下内容由 GPT 仔细研究之后输出：

Gemma 2 提供业界领先的性能，在各种硬件上运行速度惊人，并且能够轻松集成其他 AI 工具。

人工智能具有解决一些人类最迫切问题的潜力——但这需要每个人都能够使用这些构建工具。因此，我们在今年早些时候推出了 Gemma 系列——一系列基于创造 Gemini 模型相同的研究和技术的轻量级、最先进的开放模型。我们继续扩展 Gemma 系列，推出了 CodeGemma、RecurrentGemma 和 PaliGemma——每个模型都为不同的 AI 任务提供独特功能，并通过与 Hugging Face、NVIDIA 和 Ollama 等合作伙伴的集成轻松访问。

现在我们正式向全球研究人员和开发者推出 Gemma 2。Gemma 2 提供 90 亿（9B）和 270 亿（27B）参数规模，性能更高，推理效率更优，并内置了显著的安全进步。特别是在 270 亿参数规模下，它提供了竞争性的替代方案，与体积是其两倍多的模型相比肩，并且能在单个 NVIDIA H100 Tensor Core GPU 或 TPU 主机上实现，大幅降低部署成本。

为效率和性能设立新的开放模型标准

我们在重新设计的架构基础上构建了 Gemma 2，旨在实现卓越性能和高效推理。以下是其几个显著特点：

• 卓越性能：在 270 亿参数规模下，Gemma 2 为其规模类别提供了最佳性能，甚至提供了与体量是其两倍的模型竞争的选择。90 亿参数的 Gemma 2 模型同样表现出色，超越了 Llama 3 8B 和其他同规模的开放模型。有关详细的性能分析，请查阅技术报告。

• 无与伦比的效率和成本节约：270 亿参数的 Gemma 2 模型旨在在单个 Google Cloud TPU 主机、NVIDIA A100 80GB Tensor Core GPU 或 NVIDIA H100 Tensor Core GPU 上以全精度高效运行推理，显著降低成本同时保持高性能。这使得 AI 部署更加易于访问且经济实惠。

• 跨硬件的极速推理：Gemma 2 优化以在从强大的游戏笔记本和高端桌面到基于云的配置的各种硬件上以惊人的速度运行。在 Google AI Studio 中体验 Gemma 2 的全精度性能，在您的 CPU 上通过 Gemma.cpp 解锁本地性能，或者在家用电脑上通过 Hugging Face Transformers 使用 NVIDIA RTX 或 GeForce RTX 试用。

 

 一张展示 Gemma 2 性能基准的图表

为开发者和研究人员而建

Gemma 2 不仅功能更强，而且其设计更易于融入您的工作流程：

• 开放且易于访问：如同最初的 Gemma 模型，Gemma 2 也在我们商业友好的 Gemma 许可下提供，使开发者和研究人员能够分享并商业化他们的创新。

• 广泛的框架兼容性：其与主要 AI 框架的兼容性，如 Hugging Face Transformers、JAX、PyTorch 和 TensorFlow 通过原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp 和 Ollama，您可以轻松使用 Gemma 2 与您偏好的工具和工作流程。此外，Gemma 经过 NVIDIA TensorRT-LLM 优化，可在 NVIDIA 加速基础设施上运行，或作为 NVIDIA NIM 推理微服务运行。您现在可以通过 Keras 和 Hugging Face 进行微调。我们还在积极开发其他参数效率高的微调选项。

• 轻松部署：从下月开始，Google Cloud 客户将能够轻松部署和管理 Gemma 2 在 Vertex AI 上。

探索新的 Gemma Cookbook，一系列实用示例和食谱，将指导您构建自己的应用程序并针对特定任务微调 Gemma 2 模型。了解如何轻松使用 Gemma 与您选择的工具，包括常见任务如检索增强生成。

负责任的 AI 开发

我们致力于为开发者和研究人员提供构建和部署 AI 所需的资源，包括我们的负责任的生成性 AI 工具包。最近开源的 LLM Comparator 帮助开发者和研究人员深入评估语言模型。从今天开始，您可以使用配套的 Python 库进行模型和数据的比较评估，并在应用中可视化结果。此外，我们还在积极开源我们的文本水印技术，SynthID，用于 Gemma 模型。

在培训 Gemma 2 时，我们遵循了严格的内部安全程序，筛选了预训练数据，并对一系列综合指标进行了严格的测试和评估，以识别和缓解潜在的偏见和风险。我们在一大批公共基准上发布了我们的结果，这些基准涉及安全和代表性损害。

一张展示 Gemma 2 安全评估的图表

结语

Gemma 2 现在在 Google AI Studio 中可用，因此您可以在没有硬件要求的情况下测试其 270 亿的全性能功能。您也可以从 Kaggle 和 Hugging Face Models 下载 Gemma 2 的模型权重，Vertex AI Model Garden 即将推出。

为了方便研究和开发，Gemma 2 也通过 Kaggle 或通过 Colab 笔记本的免费层提供免费使用。首次使用 Google Cloud 的客户可能有资格获得 300 美元的信用额度。学术研究人员可以申请 Gemma 2 学术研究计划，以获得 Google Cloud 信用额度，加速他们使用 Gemma 2 的研究。申请现已开放，将持续到 8 月 9 日。