阿联酋技术创新研究所利用新架构革新人工智能语言模型

• 经Hugging Face独立验证，Falcon Mamba 7B是全球性能第一的开源状态空间语言模型(SSLM)
• SSLM的内存成本低，无需额外内存即可生成任意长文本块
• Falcon Mamba 7B还优于传统的Transformer架构模型，如Meta的 Llama 3.1 8B和Mistral的7B
• 新模型体现了阿布扎比在人工智能研发领域的创新和开拓精神

技术创新研究所(TII)是全球领先的科研中心和阿布扎比先进技术研究理事会(ATRC)的应用研究支柱。该研究所发布了Falcon系列中的一款新的大型语言机型——Falcon Mamba 7B。经Hugging Face独立验证，新模型是全球性能第一的开源状态空间语言模型(SSLM)。

作为Falcon系列的首款SSLM，它有别于之前所有使用Transformer架构的Falcon模型。新的Falcon Mamba 7B模型是该研究所正在进行的开创性研究及其以开源形式向社区提供突破性工具和产品的又一例证。

ATRC秘书长兼阿联酋总统战略研究和先进技术事务顾问Faisal Al Bannai阁下表示：“Falcon Mamba 7B标志着TII连续第四次获得人工智能模型排名第一，巩固了阿布扎比作为全球人工智能研发中心的地位。这一成就彰显了阿联酋对创新的坚定承诺。”

在Transformer架构模型方面，Falcon Mamba 7B在HuggingFace新引入的基准测试中优于Meta的Llama 3.1 8B、Llama 3 8B和Mistral的7B。同时，在其他SSLM中，Falcon Mamba 7B在旧基准测试中击败了所有其他开源模型，它将成为HuggingFace新的更严苛基准测试排行榜上的第一款模型。

TII首席执行官Najwa Aaraj博士表示：“技术创新研究所继续通过Falcon系列人工智能模型突破技术发展的界限。Falcon Mamba 7B代表了真正的开创性工作，为未来的人工智能创新铺平了道路，这些创新将增强人类的能力并改善生活。”

状态空间模型在理解随时间演变的复杂情况（如一整本书的内容）方面表现极为出色。这是因为SSLM不需要额外的内存来消化如此大量的信息。

另一方面，基于Transformer的模型在记住和使用它们之前处理过的序列信息方面非常高效。这使它们在内容生成等任务中表现出色，然而，由于它们会将每个单词与其他单词进行比较，这就需要大量的计算能力。

SSLM可应用于各种领域，如估计、预测和控制任务。与Transformer架构模型类似，它们在自然语言处理任务中也有出色表现，可应用于机器翻译、文本摘要、计算机视觉和音频处理。

TII人工智能跨中心部门代理首席研究员Hakim Hacid博士表示：“在推出Falcon Mamba 7B之际，我为TII促进其发展的合作生态系统感到自豪。这次发布标志着我们向前迈出了一大步，启发了新的视角，进一步推动了对智能系统的探索。在TII，我们正在突破SSLM和Transformer模型的界限，以激发生成式人工智能领域的更多创新。”

Falcon LLM的下载次数已超过4500万次，证明了该模型的巨大成功。Falcon Mamba 7B将基于TII Falcon License 2.0发布。这是一种基于Apache 2.0的宽松软件许可证，包含一项促进人工智能负责任使用的可接受使用政策。如需了解有关这一新模型的更多信息，请访问FalconLLM.TII.ae。

*来源： AETOSWire