Jamba前生今世：1.5开源来袭

最新推荐文章于 2024-11-03 17:50:26 发布
最新推荐文章于 2024-11-03 17:50:26 发布
阅读量944 收藏 28
点赞数 21
分类专栏： 新技术解读 文章标签： Mamba Jamba MoE 自然语言处理 Mamba-2 深度学习 Hugging Face
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Janexjy/article/details/141488129
版权

AI21服务于企业，为企业构建基础模型和AI系统以加速GenAI在生产中的使用。AI21 成立于2017年，已从NVIDIA、Intel、Google等公司共筹集了3.36亿美元。它是最早将生成式AI推向大众的公司之一，借助AI21平台，企业可以构建自己的生成式AI的应用程序和服务。

Jamba算是世界上第一款基于Mamba的生产级别的模型。近日AI21 Labs发布Jamba 1.5系列开放模型，包括Jamba 1.5 Mini和Jamba 1.5 Large，这些模型建立在新颖的SSM-Transformer架构之上，某种意义上也算是AI技术的突破。

Jamba 

Jamba 1.5创新的核心是其令人印象深刻的256K上下文窗口，这是目前最长上下文的开放模型。在单个实例中处理和理解如此大量信息的能力允许在各种任务中实现更细致、更全面和更准确的输出。Jamba 1.5 Mini可以在单个GPU上处理高达140K令牌的上下文长度。

AI21 Labs的原话是：“大多数其他模型声称具有较长的上下文窗口，但无法在其上下文窗口的上限处保持相同的性能质量，而Jamba 1.5系列在其 256K上下文窗口的整个跨度内保持其长上下文处理。”

能够有效处理很长的上下文模型对于几乎企业级生成式的应用程序都至关重要。除了彻底、精确地总结和分析冗长的文档外，长上下文模型还通过消除连续分块和重复检索的需要，大大提高了RAG和代理工作流程的质量，并降低了它们的成本。

上图为Jamba 1.5 Mini在2片A100 80GB GPU进行延迟评估， 而Jamba 1.5 Large则是在8块A100 80GB GPU上完成的，整体表现不错。下图为

上表是Jamba和其他模型整体参数规模和实际运行激活参数规模的对比。Jamba 1.5 Large算是巅峰之作，它虽然具备398B的总参数，然而运行时仅仅有94B的活跃参数。而Jamba 1.5 Mini具有52B的总参数和12B的活跃参数。<MoE!!> 

SSM-Transformer

Jamba 1.5基于混合SSM-Transformer构建，它结合了两种强大的AI 范式的优势：Mamba和Transformer。读者是否还记得Mamba系列？！Mamba为模型带来了卓越的效率和速度，而Transformer架构则在各种 NLP任务中保持高质量输出和稳健的性能。

在Jamba的这个版本中，AI21试验了Mamba-2，这是Mamba的更快和改进版本，它的性能分别优于Mamba和Transformers。在实验中如上图所示在混合架构中，Mamba-1+Attention组合比Mamba-2+Attention效果更好，因此本次在Jamba-1.5-Large中使用Mamba-1。

当然在这个过程中还发现混合架构的性能优于纯Mamba-2。通过推测可能是因为在 Mamba层之间交错有完整的Tranformer层时，Mamba-2相对于Mamba-1 的优势就不那么明显了，Mamba-2虽然可以具备更大状态存储能力，然而Mamba-1通过Transformer可以汇集来自整个上下文的信息。

上图为最早期的Jamba论文中Jamba Block的架构图。它为八层的架构，Mamba层和Transformer层的比例为7:1，每两层运用了MoE。

而Jamba-1.5-Large遵循相同的Jamba结构，但容量更大。它具有94B活动参数和398B总参数。它有9个区块，每个区块都有以下规格：

  • l=8，每块具有8层

  • a:m=1:7，这个比例是研究人员在对Jamba研究中发现的最佳的比例

  • e=2，每两层都使用MoE代替单个MLP

  • n=16，有16个专家，在每个Token上选择头部的两个，即K=2。

  • 隐藏维度为8192

  • Q为64头，KV为8头

ExpertsInt8

Jamba 1.5 Large 背后的关键创新之一是引入ExpertsInt8，这是一种专为专家混合 （MoE） 模型设计的新型量化技术。这种技术可以在A100 GPU 上使用，而FP8仅在H100上可以使用。当然这种技术最重要的特点如下：

  • 快速的量化过程，只需几分钟，而不是几小时或几天

  • 不依赖校准，增强了稳定性和易用性

  • 能够将 BF16 用于大型激活，在最重要的地方保持精度

  • 在 MoE 模型的 vLLM 量化技术中延迟最低，且不会牺牲质量

因为超过85%的模型权重在MoE层中，超过90%在 MoE或MLP层中，那么如何量化这些权重且同时仍然享受快速BF16内核的好处？研究人员将 MoE和MLP权重量化为INT8，将它们保存在INT8中，并在实际计算之前将它们返回BF16。

最重要的是，逆量化步骤直接发生在vLLM的 fused_moe内核内部。通过这种方式，逆量化过程增加的开销可以忽略不计，甚至导致比BF16更高的延迟。这个修改的fused_moe内核目前已经贡献给vLLM。

上图为不同量化技术比较，显示1024个令牌上下文和128个令牌解码的端到端延迟。ExpertsInt8的性能与FP8相似，但应用起来快速而简单，并且依旧享受BF16激活，最重要的是能够适用于FP8不可用的A100 GPU。

至于在一些通用基准的评测上，Jamba-1.5也获得不俗的表现。与同级别的模型相比，性能相似然而拥有更好的吞吐量和低延迟的能力。

庞德公
关注
专栏目录
阿里开源自家首个MoE技术大模型：Qwen1.5-MoE-A2.7B，性能约等于70亿参数规模的大模型Mistral-7B
人工智能曾小健
06-26 1023
最近2天，业界有3个重磅的MoE技术大模型开源，包括前天的DBRX以及今天的Jamba和阿里的Qwen1.5-MoE-A2.7B。Qwen1.5-MoE-A2.7B是基于阿里此前开源的Qwen1.5-1.8B模型继续迭代升级的混合专家技术大模型。2.7B模型总的参数数量是143亿，但每次推理只使用27亿参数。阿里官方称他们使用的是特别设计的MoE架构。通常，如Mixtral方法中所见，每个transformer块内的MoE层采用八个专家，并使用前两名门控策略用于路由。
Jamba: A Hybrid Transformer-Mamba Language Model
c_cpp_csharp的专栏
05-16 261
我们提出了Jamba，这是一种新的基于新型混合Transformer-Mamba专家混合（MoE）架构的基础大型语言模型。具体来说，Jamba交错了Transformer和Mamba层的块，享受了这两个模型族的好处。在其中一些层中添加了MoE，以增加模型容量，同时保持活动参数使用的可控性。这种灵活的体系结构允许特定于资源和目标的配置。在我们实现的特定配置中，我们最终得到了一个强大的模型，可以容纳一个80GB的GPU。
AI21 Labs 发布全球首批生产级 Mamba 模型：Jamba 1.5 系列重磅登场
OpenCSG的博客
08-28 676
在全球人工智能领域，AI21 Labs 再次走在前沿，正式推出了 Jamba 1.5 系列开放模型，包括 Jamba 1.5 Mini 和 Jamba 1.5 Large。这些模型凭借创新的 SSM-Transformer 架构，在长上下文处理、速度和质量方面设立了新标杆，是非 Transformer 架构模型首次成功达到市场领先模型的质量和性能。来源：传神社区。
Jamba 1.5 开放式模型系列： 最强大、最高效的长语境模型
weixin_41446370的博客
08-23 1243
AI21 开放式机型的全新系列，提供无与伦比的速度、效率和质量，以及开放式机型中最长的上下文窗口。今天，我们首次推出 Jamba 1.5 系列开放式机型： Jamba 1.5 Mini 和 Jamba 1.5 Large。这两款机型基于我们新颖的 SSM 变压器架构，在长环境处理、速度和质量方面均表现出众，在同尺寸的竞争对手中名列前茅，这也是非变压器机型首次成功达到市场领先机型的质量和强度。
（2024，Jamba1.5，ExpertsInt8量化，LLM，激活损失）大规模混合 Transformer-Mamba 模型
qq_44681809的博客
08-23 992
Jamba-1.5 是基于 Jamba 架构的新指令微调LLM。Jamba 能够在不同上下文长度中提供高吞吐量和低内存使用，同时保持与 Transformer 模型相同或更好的质量。它还引入了ExpertsInt8量化，来支持成本有效的推理
（2024，Attention-Mamba，MoE 替换 MLP）Jamba：混合 Transformer-Mamba 语言模型
qq_44681809的博客
04-08 3005
Jamba 是一个基于T-M和MoE 的LLM。它交错使用T和M层的块，并添加 MoE 来增加模型容量。在大规模构建的情况下，与普通T相比，Jamba有高吞吐量和小内存占用，并且在标准语言模型基准测试和长上下文评估方面达到了最先进的性能
结合Transformer与Mamba，Jamba来了！
啥都生的博客
03-31 1024
Hume AI推出了一款名为Empathic Voice Interface（EVI）的新型对话人工智能。EVI与其他语音界面的不同之处在于它能够理解并响应用户的语调，为交互添加了情感智能。通过根据用户的表达方式调整语言和回复，EVI创造了一种类似于人类的体验，模糊了人工智能和情感智能之间的界限EVI的共情能力不仅仅局限于理解语调，还能准确地检测对话转换的结束，处理中断，甚至从用户的反应中学习以逐步改进，再加上它快速可靠的转录和文本到语音功能，使EVI成为一个高度适应性强的工具。
突破内存限制：Jamba模型的高效文本处理能力
人工智能讲师分享前沿技术
06-26 1176
在当今信息爆炸的时代，处理和理解海量文本数据的需求日益增长。自然语言处理（NLP）领域的研究者们一直在探索如何构建更高效、更强大且更灵活的语言模型来应对这一挑战。然而，现有的大型语言模型，尤其是基于Transformer架构的模型，虽然在多个任务上取得了显著的成就，但它们在处理长文本时仍面临着内存和计算资源的巨大需求。这些需求限制了模型在资源受限的环境中的应用，并可能导致推理速度变慢，影响用户体验。为了解决这些问题，一种新型的混合Transformer-Mamba语言模型——Jamba应运而生。
megasur-jamba:包laravel
05-24
'providers'=> [Jamba \ JambaServiceProvider ::类] 魔术开始了:) 使用信息 我通过重定向显示警报 public function store () { Message :: message ( 'Welcome Aboard!' ); return redirect ( '/' ); } 使用...
Keyclone绝配的插件jamba v0.8+jamba的翻译及设置截图
08-02
与最新版的keyclone v1.9i最配合的插件jamba v0.8；可以说用keyclone多开不能少了他，jamba它让很多动作同步而且自动化，如：自动交接任务，与主号自动骑飞行点，自动显示各小号的状态（血量，是否被攻击，任务物品...
vst-sam-spl-64:一个免费的开源 VST2、VST3 和 AudioUnit 插件，可轻松将样本分成多达 64 个切片
05-30
SAM-SPL 64 插件 这个 VST2、VST3 和 AudioUnit 插件可让您轻松地将样本分成多达 64 个切片。 使用插件中的打击垫或 MIDI 键盘（切片自动映射到音符） 2种播放模式：保持或触发 ... 迁移到 Jamba 5.1.
joomla模板1.5
05-13
总的来说，Joomla 1.5的模板系统为用户提供了强大的自定义能力，允许他们根据需求打造个性化的网站。"js_jamba"作为一个具体的实例，代表了这一理念，它可能是实现特定设计和功能的关键。无论你是新手还是经验丰富的...
m6A-BERT——基于 BERT 的模型可用于预测具有遗传信息的 MRNA 的功能
知来者逆的博客
10-30 978
本研究提出了基于 BERT 的****m6A-BERT-Deg模型，用于预测 mRNA 因 m6A 修饰而降解的情况。该模型的训练方法是**：将mRNA 序列标记为字符串，进行预训练以预测屏蔽标记，然后进行微调**，引入二元分类层以预测分解。该模型的性能高于其他未经预训练的先进模型和以往的模型。在真实细胞上进行的实验也证实了该模型的准确性。使用基于标记贡献的归因得分进行的进一步分析表明，m6A 修饰位点上游的得分较高，表明该区域对调节 mRNA 降解很重要。BERT 模型是能够通过考虑这些嵌入层。
【大语言模型】ACL2024论文-07 BitDistiller: 释放亚4比特大型语言模型的潜力通过自蒸馏
最新发布
11-03 865
本文介绍了BitDistiller，这是一个通过结合量化感知训练（QAT）和知识蒸馏（KD）来提升超低精度（亚4比特）大型语言模型（LLMs）性能的框架。BitDistiller首先采用定制的非对称量化和裁剪技术来尽可能保持量化权重的保真度，然后提出了一种新颖的基于置信度的Kullback-Leibler散度（CAKLD）目标，用于自蒸馏，以实现更快的收敛和更优的模型性能。实验评估表明，BitDistiller在3比特和2比特配置下，无论是在通用语言理解还是复杂推理基准测试中，都显著超越了现有方法。
一个免费开源自托管的机器翻译项目，支持API接口
yunmoon的博客
10-31 991
采用神经翻译技术，使用开源语言模型对文本进行翻译，无需依赖外部服务。该项目的主要编程语言是Python，并根据GNU Affero General Public License v3许可。
自适应对话式团队构建，提升语言模型代理的复杂任务解决能力
人工智能讲师分享前沿技术
10-30 1045
如何有效利用多个大模型（LLM）代理解决复杂任务一直是一个研究热点。由美国南加州大学、宾夕法尼亚州立大学、华盛顿大学、早稻田大学和谷歌DeepMind的研究人员联合提出了一种新的解决方案——自适应团队构建（Adaptive In-conversation Team Building），旨在通过动态管理和组建团队来提高问题解决的效率和准确性。Figure1展示了两种团队构建范式，即“静态构建”和“自适应构建”。
【大语言模型】ACL2024论文-06 探索思维链COT在多模态隐喻检测中的应用
11-02 1406
本文探讨了在广告和互联网迷因（meme）中常见的隐喻检测问题。由于互联网迷因的自由形式，导致缺乏高质量的文本数据。隐喻检测需要对文本和视觉元素进行深入解读，并需要大量的常识知识，这对语言模型构成了挑战。为了应对这些挑战，作者提出了一个紧凑的框架C4MMD，该框架利用思维链（Chain-of-Thought, CoT）方法进行多模态隐喻检测。具体来说，该方法设计了一个三步过程，灵感来自CoT，从多模态大型语言模型（MLLMs）中提取并整合知识到较小的模型中。
NLP segment-01-聊一聊分词 AI 的基础
11-01 596
这是 NLP 的基础步骤之一，尤其在中文处理里尤为关键，因为中文没有天然的空格分隔词语。分词在自然语言处理（NLP）的多个应用场景中起着重要的作用。为了便于大家学习，项目开源地址如下，欢迎 fork+star 鼓励一下老马~是指将一段文本按照一定规则分解为一个个单词或词组的过程。在自然语言处理（NLP）中，
论文 | Ignore Previous Prompt: Attack Techniques For Language Models
m0_49651195的博客
10-30 554
这篇论文探讨了针对大型语言模型（LLM）的“提示注入”攻击，并提出了一种名为 PROMPTINJECT 的框架来研究这类攻击。实验结果表明，目标劫持和提示泄露攻击都是可行的，并且攻击成功率受到多种因素的影响，例如攻击指令、分隔符、温度、恶意字符串、停止序列等。论文讨论了提示注入攻击的风险和影响，并提出了几种可能的解决方案，例如内容审核模型和双参数模型。这篇论文首次系统地研究了针对 LLM 的提示注入攻击，并提出了一个有效的评估框架。论文的结果表明，LLM 容易受到攻击，并且攻击的成功率受到多种因素的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值