1. Gemma 2: Improving Open Language Models at a Practical Size
-
摘要:
- Gemma 2 是 DeepMind 发布的第二代 Gemma 模型,包括 2B、9B 和 27B 参数规模的版本。
- 这些模型分别预训练了 2T、8T 和 13T tokens,并且较小的两个模型是从 27B 模型通过蒸馏技术获得的。
- Gemma 2 27B 在 MMLU、GSM8K、ARC、HellaSwag 等测试基准上表现优秀,超过了相似大小的其他模型,甚至接近更大的模型的性能。
-
发布时间:2024-06-27
-
链接:https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf
-
机构:Google DeepMind
2. Narrow Transformer: Starcoder-Based Java-LM For Desktop
-
摘要:
- Narrow Transformer 提出了一个专门针对 Java 编程任务的模型 NT-Java-1.1B。
- 该模型基于 StarCoderBase-1.1B 构建,专注于 Java 语言,并且在 MultiPL-E Java 代码基准测试中表现优异。
- 研究人员还开发了一个量化版本的模型,使模型能够在普通桌面计算机上运行,无需专门硬件支持。
-
发布时间:2024-07-04
-
机构:Infosys Limited
3. H2O-Danube3 Technical Report
-
摘要:
- H2O-Danube3 是一组包括 4B 和 500M 参数的小型语言模型。
- 这些模型使用高质量的网页数据进行训练,在多个基准测试中表现出色。
- 模型的设计使得它们能够在现代智能手机上高效运行,实现本地推理。
-
发布时间:2024-07-12
-
机构:H2O.ai
4. Scaling Granite Code Models to 128K Context
-
摘要:
- 本研究将 Granite 代码模型的有效上下文窗口扩展至 128K tokens。
- 研究人员通过调整 RoPE 基频并结合代码仓库级别的文件打包技术实现了这一点。
- 拓展后的模型在长上下文任务上表现显著提升,同时在常规代码补全基准上保持了良好的性能。
-
发布时间:2024-07-18
-
机构:IBM Research
5. ALLaM: Large Language Models for Arabic and English
-
摘要:
- ALLaM 是一系列专为支持阿拉伯语生态系统而设计的大模型。
- 它们通过在阿拉伯语和英语混合文本上进行预训练,有效迁移了英语知识到阿拉伯语,并避免了灾难性的遗忘。
- 模型在多个阿拉伯语基准测试中取得了最先进的性能,并且强调了对齐的重要性。
-
发布时间:2024-07-22
-
机构:Saudi Data and AI Authority
6. SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages
-
摘要:
- SeaLLMs 3 是基于 Qwen 2 的针对东南亚语言优化的大语言模型。
- 模型覆盖了英语、汉语、印尼语、泰语等多种东南亚语言。
- SeaLLMs 3 在多个任务中表现出色,包括世界知识、数学推理、翻译等,并强调了包容性 AI 的重要性。
-
发布时间:2024-07-29
-
机构:DAMO Academy, Alibaba Group