Falcon Mamba：首个高效的无注意力机制7B模型

Falcon Mamba：首个高效的无注意力机制7B模型

Falcon Mamba是由阿布扎比的 Technology Innovation Institute (TII) 开发并基于 TII Falcon Mamba 7B License 1.0 的开放获取模型。该模型是开放获取的，所以任何人都可以在 Hugging Face 生态系统中这里使用它进行研究或应用。

在这篇博客中，我们将深入模型的设计决策、探究模型与其他现有的SoTA模型相比的竞争力，以及如何在Hugging Face生态系统中使用它。

第一款通用的大规模纯Mamba模型

目前，所有顶级大型语言模型都使用基于注意力机制的Transformer架构。然而，由于计算和内存成本随序列长度增加而增加，注意力机制在处理大序列时存在根本性的局限性。状态空间语言模型（SSLMs）等各种替代架构尝试解决序列扩展的限制，但在性能上仍不及最先进的Transformer架构模型。

通过Falcon Mamba，我们证明了序列扩展的限制确实可以在不损失性能的情况下克服。Falcon Mamba基于原始的Mamba架构，该架构在Mamba: Linear-Time Sequence Modeling with Selective State Spaces中提出，并增加了额外的RMS标准化层以确保大规模稳定训练。这种架构选择确保Falcon Mamba：

• 能够处理任意长度的序列，而不增加内存存储，特别是适用于单个A10 24GB GPU。
• 生成新令牌的时间是恒定的，不论上下文的大小（参见此部分）。

模型训练

Falcon Mamba训练所用的数据量约为5500GT，主要包括经过精选的网络数据，并补充了来自公开源的高质量技术和代码数据。我们在大部分训练过程中使用恒定的学习率，随后进行了一个相对较短的学习率衰减阶段。在最后这个阶段，我们还添加了一小部分高质量的策划数据，以进一步提高模型性能。

模型评估

我们使用 lm-evaluation-harness 包在新排行榜版本的所有基准上评估我们的模型，然后使用Hugging Face分数规范化方法规范化评估结果。

model name	IFEval	BBH	MATH LvL5	GPQA	MUSR	MMLU-PRO	Average
Pure SSM models
Falcon Mamba-7B	33.36	19.88	3.63	8.05	10.86	14.47	15.04
TRI-ML/mamba-7b-rw*	22.46	6.71	0.45	1.12	5.51	1.69	6.25
Hybrid SSM-attention models
recurrentgemma-9b	30.76	14.80	4.83	4.70	6.60	17.88	13.20
Zyphra/Zamba-7B-v1*	24.06	21.12	3.32	3.03	7.74	16.02	12.55
Transformer models