源2.0 M32大模型 github项目

源2.0 M32大模型

👾 ModelScope • 🤗 Hugging Face • 💬 WeChat• 📎 源2.0 M32论文

​编辑​编辑

简体中文 | English

---

0. Latest News 🎉🎉

• [2024-06-18] 发布 INT8量化版本模型 (Yuan2.0-M32-HF-INT8)，高性能推理、精度无损 🎗️🎗️🎗️
• [2024-06-18] 发布 INT4量化版本模型 (Yuan2.0-M32-HF-INT4) 🎗️🎗️
• [2024-05-28] 发布源2.0 M32大模型

1. Introduction

浪潮信息 “源2.0 M32”大模型（简称，Yuan2.0-M32） 采用稀疏混合专家架构（MoE），以Yuan2.0-2B模型作为基底模型，通过创新的门控网络（Attention Router）实现32个专家间（Experts*32）的协同工作与任务调度，在显著降低模型推理算力需求的情况下，带来了更强的模型精度表现与推理性能；源2.0-M32在多个业界主流的评测进行了代码生成、数学问题求解、科学问答与综合知识能力等方面的能力测评。结果显示，源2.0-M32在多项任务评测中，展示出了较为先进的能力表现，MATH（数学求解）、ARC-C（科学问答）测试精度超过LLaMA3-700亿模型。Yuan2.0-M32大模型 基本信息如下：

• 模型参数量： 40B
• 专家数量： 32
• 激活专家数： 2
• 激活参数量： 3.7B
• 训练数据量： 2000B tokens
• 支持序列长度： 16K

同时，我们发布了Yuan2.0-M32模型的技术报告，可以通过论文查看更详细的技术细节与测评结果。

​编辑

Fig.1: Yuan 2.0-M32 架构图

2. Model Downl