AI21 Labs 发布全球首批生产级 Mamba 模型：Jamba 1.5 系列重磅登场

前沿科技速递🚀

在全球人工智能领域，AI21 Labs 再次走在前沿，正式推出了 Jamba 1.5 系列开放模型，包括 Jamba 1.5 Mini 和 Jamba 1.5 Large。这些模型凭借创新的 SSM-Transformer 架构，在长上下文处理、速度和质量方面设立了新标杆，是非 Transformer 架构模型首次成功达到市场领先模型的质量和性能。

来源：传神社区

01 革新架构：Mamba 与 Transformer 的完美结合

Jamba 1.5 系列模型基于新颖的 SSM-Transformer Jamba 架构，将 Transformer 的卓越质量与 Mamba 的突破性效率相结合。这一混合架构大幅降低了模型的内存占用，使得 Jamba 1.5 Mini 能够在单个 GPU 上处理长达 140K token 的上下文。这一优势不仅使得长上下文的微调更加容易，还为企业应用带来了前所未有的资源效率和成本效益。

为了应对大规模模型推理中的挑战，AI21 Labs 开发了 ExpertsInt8，这是一种专为混合专家（MoE）模型设计的全新量化技术。通过 ExpertsInt8 技术，Jamba 1.5 Large 模型在处理 256K token 的上下文时，能够在单个 8 GPU 节点上运行，而不会损失质量。实验结果表明，ExpertsInt8 技术在所有 vLLM 量化技术中具有最低的延迟，同时保持了模型的高质量。

02 卓越的长上下文处理能力

Jamba 1.5 系列模型的亮点在于其卓越的长上下文处理能力。得益于 256K token 的上下文窗口，Jamba 1.5 成为了市场上上下文窗口最长的开放模型。这一扩展的上下文窗口使模型能够高效地处理复杂任务，如长文档摘要、分析以及多步骤推理。更重要的是，与许多在上下文窗口上限时性能下降的模型不同，Jamba 1.5 系列能够在整个 256K token 的上下文范围内保持一致的性能质量。这使得它在企业级 GenAI 应用中表现尤为出色，显著提高了检索增强生成（RAG）工作流的质量和效率，并有效降低了成本。

03 市场领先的速度与效率

在速度和效率方面，Jamba 1.5 系列模型同样表现卓越。在长上下文处理中，Jamba 1.5 模型的推理速度最多可以比同类竞争对手快 2.5 倍，无论是在长上下文还是其他上下文长度中，均在其尺寸级别中表现最快。这为客户带来了显著的成本、质量和速度优势，尤其是在高强度的业务环境中。具体测试结果显示，Jamba 1.5 Mini 在 10K 上下文环境中表现最佳，超越了所有同类模型。

每秒在10K上下文上输出令牌，由Artificial Analysis独立测试

04 全面的卓越品质

Jamba 1.5 系列模型在各项基准测试中表现出色。Jamba 1.5 Mini 在 Arena Hard 基准测试中得分 46.1，成为其尺寸级别中最强的模型，超越了 Mixtral 8x22B 和 Command-R+ 等更大尺寸的模型。Jamba 1.5 Large 更是以 65.4 分的成绩超越了 Llama 3.1 70B 和 405B 等领先模型，成为市场上性价比最高的模型之一。

05 典型示例

小编使用生成了一些示例，我们一起来看看吧！

06 模型下载

传神社区：

Jamba 1.5 Mini：

https://opencsg.com/models/ai21labs/AI21-Jamba-1.5-Mini

Jamba 1.5 Large：

https://opencsg.com/models/ai21labs/AI21-Jamba-1.5-Large

欢迎加入传神社区

•贡献代码，与我们一同共建更好的OpenCSG

•Github主页

欢迎🌟：https://github.com/OpenCSGs

•Huggingface主页

欢迎下载:https://huggingface.co/opencsg

•加入我们的用户交流群，分享经验

扫描上方二维码添加传神小助手

---

“      关于OpenCSG

开放传神（OpenCSG）成立于2023年，是一家致力于大模型生态社区建设，汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。

关注OpenCSG

加入传神社区