一探究竟 | Gemma 2 的突破与创新

谷歌开发者

于 2024-09-10 17:31:16 发布

阅读量1k

点赞数 9

本文链接：https://blog.csdn.net/googledevs/article/details/142113187

版权

作者 / Ju-yeong Ji, Gemma DevRel, Ravin Kumar, Google Data Scientist, Language Applications

不久前我们对 Gemma 的架构展开了讨论，今天的文章中，我们将与您探讨 Gemma 2 模型。让我们开始吧！

讨论
https://developers.googleblog.com/en/gemma-explained-overview-gemma-model-family-architectures/

Gemma 2

最近，我们发布了具有开创性的全新开放模型套件 Gemma 2，在性能和可访问性方面树立了新标准。Gemma 2 迅速崭露头角，目前可选的参数版本有 2B、9B 和 27B 三种。Gemma 2 27B 模型在 LMSYS 聊天机器人竞技场排行榜上的排名迅速攀升。在引人入胜的实际对话方面，27B 模型的表现甚至优于规模为其两倍以上的热门模型，跻身成为排名最高、最实用的开放模型之一。与此同时，Gemma 2 2B 可以在边缘设备上运行，展示了其卓越的对话式 AI 能力，强于聊天机器人竞技场上的所有 GPT-3.5 模型。

开发者可以跨平台和工具使用 Gemma 2 强大的调优功能。我们通过 Google Cloud 等基于云的解决方案和 Axolotl 等社区工具简化了 Gemma 2 的微调流程。通过与 Hugging Face 和 NVIDIA TensorRT-LLM 等合作伙伴以及 JAX 和 Keras 的无缝集成，我们实现了跨多种硬件配置的性能优化和高效部署。

Google Cloud
https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma2
Axolotl
https://github.com/OpenAccess-AI-Collective/axolotl

以下是这款新模型的核心参数:

主要差异

Gemma 2 与原始 Gemma 模型具有相似的架构基础，包括旋转位置编码 (RoPE) 和近似的 GeGLU 非线性。然而，新的架构创新赋予了 Gemma 2 有别于前几代模型的特色。

交替局部注意力和全局注意力

Gemma 2 并非一次性考虑文本中的所有字词，有时只关注一小段字词 (局部注意力)，有时也会考虑所有字词 (全局注意力)。这种组合有助于模型高效理解文本的即时上下文和整体含义。

Logit 软上限

假设您正在训练一个模型来预测句子中的下一个字词。有时，模型可能会对某个字词的预测过于自信，即使这并非是最佳选择。Logit 软上限可通过限制模型对其预测的信心程度来预防这种情况，从而提高整体性能。

用于预归一化和后归一化的 RMSNorm

我们可以将此视为在训练期间防止模型的计算变得过大或过小的一种方法。就像我们可以通过调整音响的音量来防止声音失真一样，RMSNorm 可确保流经模型的信息保持在合理的范围内，从而实现更稳定且有效的训练。

分组查询注意力 (GQA)

这种技术提高了模型处理信息的效率，尤其是在处理大量文本时。通过将查询分组来改进传统的多头注意力机制 (MHA)，从而加快处理速度，尤其是针对大型模型。这类似于将大型任务拆分为更小、更易于管理的分块，使模型能够在不牺牲准确性的情况下更快地理解字词之间的关系。

Gemma 27B

Gemma2ForCausalLM(
  (model): Gemma2Model(
    (embed_tokens): Embedding(256000, 4608, padding_idx=0)
    (layers): ModuleList(
      (0-45): 46 x Gemma2DecoderLayer(
        (self_attn): Gemma2SdpaAttention(
          (q_proj): Linear(in_features=4608, out_features=4096, bias=False)
          (k_proj): Linear(in_features=4608, out_features=2048, bias=False)
          (v_proj): Linear(in_features=4608, out_features=2048, bias=False)
          (o_proj): Linear(in_features=4096, out_features=4608, bias=False)
          (rotary_emb): Gemma2RotaryEmbedding()
        )
        (mlp): Gemma2MLP(
          (gate_proj): Linear(in_features=4608, out_features=36864, bias=False)
          (up_proj): Linear(in_features=4608, out_features=36864, bias=False)
          (down_proj): Linear(in_features=36864, out_features=4608, bias=False)
          (act_fn): PytorchGELUTanh()
        )
        (input_layernorm): Gemma2RMSNorm()
        (post_attention_layernorm): Gemma2RMSNorm()
        (pre_feedforward_layernorm): Gemma2RMSNorm()
        (post_feedforward_layernorm): Gemma2RMSNorm()
      )
    )
    (norm): Gemma2RMSNorm()
  )
  (lm_head): Linear(in_features=4608, out_features=256000, bias=False)
)

self_attn

在自注意力 (self-attention) 机制中，Gemma 2 使用了分组查询注意力 (GQA)。

k_proj 和 v_proj 共享相同的头部，每个头部的大小为 128，共有 16 个头 (128 x 16 = 2,048)。相比之下，q_proj 和 o_proj 有 32 个头并行运行 (128 x 32 = 4,096)。

请注意，Gemma 9B 模型使用相同的 GQA，但头的数量不同 (k_proj 和 v_proj 为 8 个头，q_proj 和 o_proj 为 16 个头)，且头的大小为 256。

(self_attn): Gemma2SdpaAttention(
          (q_proj): Linear(in_features=3584, out_features=4096, bias=False)
          (k_proj): Linear(in_features=3584, out_features=2048, bias=False)
          (v_proj): Linear(in_features=3584, out_features=2048, bias=False)
          (o_proj): Linear(in_features=4096, out_features=3584, bias=False)
          (rotary_emb): Gemma2RotaryEmbedding()
        )

Gemma 2B 模型使用的是: k_proj 和 v_proj 的头数量为 4，q_proj 和 o_proj 头数量为 8，头的大小为 256。

pre_feedforward_layernorm

和 post_feedforward_layernorm

另一个显著区别是 Gemma 2 中增加了额外的 RMSNorm，这增强了训练过程中的稳定性。

重要研究结果

我们在技术报告中提供了详细信息，关于 Gemma 2 主要研究结果的总结如下: