5 篇 有关基座大模型的论文

1. Gemma 2: Improving Open Language Models at a Practical Size

• 摘要：

  • Gemma 2 是 DeepMind 发布的第二代 Gemma 模型，包括 2B、9B 和 27B 参数规模的版本。
  • 这些模型分别预训练了 2T、8T 和 13T tokens，并且较小的两个模型是从 27B 模型通过蒸馏技术获得的。
  • Gemma 2 27B 在 MMLU、GSM8K、ARC、HellaSwag 等测试基准上表现优秀，超过了相似大小的其他模型，甚至接近更大的模型的性能。

• 发布时间：2024-06-27

• 链接：https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf

• 机构：Google DeepMind

2. Narrow Transformer: Starcoder-Based Java-LM For Desktop

• 摘要：

  • Narrow Transformer 提出了一个专门针对 Java 编程任务的模型 NT-Java-1.1B。
  • 该模型基于 StarCoderBase-1.1B 构建，专注于 Java 语言，并且在 MultiPL-E Java 代码基准测试中表现优异。
  • 研究人员还开发了一个量化版本的模型，使模型能够在普通桌面计算机上运行，无需专门硬件支持。

• 发布时间：2024-07-04

• 链接：https://arxiv.org/abs/2407.03941

• 机构：Infosys Limited

3. H2O-Danube3 Technical Report

• 摘要：

  • H2O-Danube3 是一组包括 4B 和 500M 参数的小型语言模型。
  • 这些模型使用高质量的网页数据进行训练，在多个基准测试中表现出色。
  • 模型的设计使得它们能够在现代智能手机上高效运行，实现本地推理。

• 发布时间：2024-07-12

• 链接：https://arxiv.org/abs/2407.09276

• 机构：H2O.ai

4. Scaling Granite Code Models to 128K Context

• 摘要：

  • 本研究将 Granite 代码模型的有效上下文窗口扩展至 128K tokens。
  • 研究人员通过调整 RoPE 基频并结合代码仓库级别的文件打包技术实现了这一点。
  • 拓展后的模型在长上下文任务上表现显著提升，同时在常规代码补全基准上保持了良好的性能。

• 发布时间：2024-07-18

• 链接：https://arxiv.org/abs/2407.13739

• 机构：IBM Research

5. ALLaM: Large Language Models for Arabic and English

• 摘要：

  • ALLaM 是一系列专为支持阿拉伯语生态系统而设计的大模型。
  • 它们通过在阿拉伯语和英语混合文本上进行预训练，有效迁移了英语知识到阿拉伯语，并避免了灾难性的遗忘。
  • 模型在多个阿拉伯语基准测试中取得了最先进的性能，并且强调了对齐的重要性。

• 发布时间：2024-07-22

• 链接：https://arxiv.org/abs/2407.15390

• 机构：Saudi Data and AI Authority

6. SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages

• 摘要：

  • SeaLLMs 3 是基于 Qwen 2 的针对东南亚语言优化的大语言模型。
  • 模型覆盖了英语、汉语、印尼语、泰语等多种东南亚语言。
  • SeaLLMs 3 在多个任务中表现出色，包括世界知识、数学推理、翻译等，并强调了包容性 AI 的重要性。

• 发布时间：2024-07-29

• 链接：https://arxiv.org/abs/2407.19672

• 机构：DAMO Academy, Alibaba Group