量子位 | 新架构Mamba更新二代！作者：别争了，数学上Transformer和SSM是一回事

最新推荐文章于 2025-04-28 15:24:46 发布
最新推荐文章于 2025-04-28 15:24:46 发布
阅读量1k 收藏 8
点赞数 9
分类专栏： Transformer专栏 文章标签： transformer 深度学习 人工智能 ai ssm mamba nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_xmj/article/details/141726820
版权

本文来源公众号“量子位”，仅用于学术分享，侵权删，干货满满。

原文链接：新架构Mamba更新二代！作者：别争了，数学上Transformer和SSM是一回事

Transformer挑战者、新架构Mamba，刚刚更新了第二代：

Mamba-2，状态空间扩大8倍，训练速度提高50%！

更重要的是，团队研究发现原来Transformer和状态空间模型（SSM）竟然是近亲？？‍

两大主流序列建模架构，在此统一了。

没错，这篇论文的提出的重磅发现：Transformer中的注意力机制与SSM存在着非常紧密的数学联系。

团队通过提出一个叫结构化状态空间二元性（Structured State Space Duality，SSD）的理论框架，把这两大模型家族统一了起来。

Mamba一代论文年初被ICLR拒稿，当时还

最低0.47元/天 解锁文章
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Du
东方佑
06-04 911
这一框架允许作者设计出一种新的架构（Mamba-2），其核心层是Mamba的选择性SSM的改进版本，速度提高了2-8倍，同时在语言建模方面仍然具有竞争力。本文探讨了变压器（Transformers）和状态空间模型（SSMs）之间的关系，并开发了一个理论框架，将SSMs与注意力机制的各种变体联系起来。基于此框架，作者设计了一种新的架构（Mamba-2），其核心层是Mamba的选择性SSM的改进版本，速度提高了2-8倍，同时在语言建模方面保持竞争力。
（2024|ICML，Mamba2，SSD，SSM，SMA，矩阵变换，张量收缩，张量并行）Transformer 是 SSM
qq_44681809的博客
06-04 3363
本文提出 SSD 框架，它使用两种表示序列模型的框架（矩阵变换和张量收缩）揭示了 SSM 与结构化掩码注意力的对偶性​。基于此，它修改 Mamba 模块，来实现张量并行​，并结合修改的 Mamba 模块与 SSD，形成可并行的 Mamba2
[读论文]Transformers are SSMs
zhangyifeng_1995的博客
07-14 1226
Notation TTT: Sequence length/ time length $$: 摘要 虽然transformer一直是深度学习在语言建模方面成功的主要架构，但状态空间模型(ssm)，如Mamba，最近被证明在中小规模上与transformer相匹配或优于transformer。这些模型族实际上是非常密切相关的，并在ssm和注意力变体之间发展了一个丰富的理论联系框架，通过对一类经过充分研究的结构化半可分矩阵的各种分解连接起来。状态空间对偶(SSD)框架使我们能够设计一个新的架构(Mamba-2)
一文通透mamba2「力证Transformer are SSM」：从SSM、半可分矩阵、SMA、SSD到mamba2
热门推荐
结构之法 算法之道
07-03 3万+
实话说，过去一两月一直忙着我司两大类项目的推进所以虽然说mamba2已发布一月有余，但实在是没有一块完整的时间来对其做详尽而细致的解读，而最终促使我来写的最大的动力还是来源于我半年前对mamba1的解读实在是太受欢迎了且影响力巨大然，在我下定决心写本文之前，内心还是有过一阵小纠结的不过还是因为过去十多年写博客的经验，使得自己在面对再难啃的算法都有足够的自信与底气，坚信都可以一步步拆解、一步步抽丝剥茧并清晰易懂的写出来，故本文最终还是来了。
新架构Mamba更新二代！作者：别争了，数学上Transformer和SSM是一回事
强化学习曾小健
06-04 1784
团队试图以更抽象方式来刻画注意力机制的本质，毕竟“Softmax自注意力”只是众多可能形式中的一种。Mamba-2的SSD层比Mamba-1中的关联扫描快很多，使团队能够增加状态维度并提高模型质量。的性能，甚至优于Transformer++（原版结构+现代最佳实践）和纯Mamba-2。那么，SSM和注意力机制究竟是怎么联系起来的，Mamba-2模型层面又做出哪些改进？其中QKV对应注意力中的query，key，value，最后，除了52页的论文之外，两位作者还撰写了。，另外他还提出了对未来研究方向的思考。
神经网络与Transformer详解
u012121721的博客
11-15 1286
Transformers是近年来在自然语言处理和计算机视觉领域取得巨大成功的一类模型。其核心思想是自注意力机制（self-attention），能够捕捉长距离依赖关系，显著提高模型的表达能力。Transformers在多个任务中展现了卓越性能，推动了深度学习的发展。
【Mamba】A Visual Guide to Mamba and State Space Models
weixin_44184852的博客
07-16 1465
状态空间是一组能够完整捕捉系统行为的最少变量集合。它是一种数学建模方法，通过定义系统的所有可能状态来表述问题。让我们用一个更简单的例子来理解这个概念。想象我们正在走过一个迷宫。这里的“状态空间”就像是迷宫中所有可能位置的集合，即一张地图。地图上的每个点都代表迷宫中的一个特定位置，并包含了该位置的详细信息，比如离出口有多远。而“状态空间表示”则是对这张地图的抽象描述。它告诉我们当前所处的位置（当前状态）、我们可以移动到哪些位置（未来可能的状态），以及如何从当前位置转移到下一个状态（比如向左转或向右转）。
RNNS ARE NOT TRANSFORMERS (YET): The Key Bottleneck on In-context Retrieval 翻译
Doc2X的博客
11-22 944
https://arxiv.org/pdf/2402.18510 RNNS ARE NOT TRANSFORMERS (YET): The Key Bottleneck on In-context Retrieval 翻译 RNNS 还不是 TRANSFORMERS（目前）：上下文检索的关键瓶颈
Mamba：2 状态空间模型
鲁班模锤
05-06 1699
Mamba自从出道就一直被拿来和Transformer对比，文章巨多，带着标题的爆炸性字样“颠覆Transfomer”，“全面包围”等等。文章深浅不一，小编认为其背后的设计思路以及演化过程更加重要。为此本专题将从山上有座庙开始，沿着RNN、SSM、S4、HIPPO一路走来。期间抛弃冗杂的文辞，以更接地气的模式协助读者打开新的逻辑思维。
【AI大模型】Mamba2，比Transformer速度提高了8倍！
AGI_GGbond的博客
10-12 1665
大家好,今天为大家介绍一篇Mamba最新研究论文。本文提出了一个新框架Structured State Space Duality (SSD),通过结构化矩阵的视角,统一了State Space Model (SSM)和注意力机制。基于该框架设计的Mamba-2,其核心是对Mamba中SSM进行了改进,在与Transformer表现相当的同时,速度提高了2-8倍。
Mamaba3--RNN、状态方程、勒让德多项式
luralying的博客
06-19 1040
RNN本质上是一个SSMS4将序列信号映射至勒让德基函数空间，状态向量即为多项式系数S4中将RNN中权重矩阵W替换成Hippo矩阵。
Mamba v2诞生：1 儒（Transformers）释（SSD）道（Mamba）本是一家？！
鲁班模锤
06-05 2204
状态空间对偶使得研究人员设计一种新的架构 (Mamba-2)，其核心层是对 Mamba（选择性SSM）进行改进，速度提高了2-8倍，同时在语言建模方面能够保持对Transformers的压力。
关于Mamba和Mamba-2经典论文的学习笔记总结，以及Mamba和Transformer的对比总结，欢迎交流
qq_66536007的博客
07-01 7058
分享一下Mamba的经典论文学习笔记，以及Mamba-2的提出，简单的对Mamba和Transformer的异同进行了归纳，本此分享从第一部分Mamba的提出背景和结构原理，第二部分Mamba与Transformer的异同，第三部分mamba-2的提出背景和结构原理，第四部分我的个人学习心得，这四个方面进行总结，欢迎交流
参数仅有0.049M！基于Mamba的医学图像分割新SOTA来了！
学姐带你玩AI的博客
04-09 4275
目前，基于CNN和Transformer的医学图像分割面临着许多挑战。比如CNN在长距离建模能力上存在不足，而Transformer则受到其二次计算复杂度的制约。相比之下，Mamba的设计允许模型在保持线性计算复杂度的同时，仍然能够捕捉到长距离的依赖关系。因此，更有效地处理医学图像中复杂的结构和模式。以上海交大提出的VM-UNet为例：作为首个将Mamba结构融入UNet的模型，VM-UNet引入了视觉态空间（VSS）块作为基础块以捕捉广泛的上下文信息，并构建了一个非对称的编码器-解码器结构。
Mamba v2诞生：3 SMA与Mamba-2
鲁班模锤
06-09 1876
在开始之前提醒下读者，在Mamba不再真正认为SSM是连续的。事实上，正如在原始论文的讨论，Mamba与S4在对不同类型的数据进行建模方面进行了权衡：S4 是一种连续时间模型，擅长对连续数据进行建模，例如音频波形和像素级视觉等感知信号。Mamba S6是一种离散时间模型，擅长对离散数据进行建模，例如语言等标记化数据。
Mamba2模型的实现
最新发布
brucexia的专栏
04-28 1147
（形状为(batch, seqlen, d_model)），通过一个线性层（nn.Linear），该层将输入映射到一个更高维的空间，以便模型能够捕捉到更丰富的特征。部分通过一个一维卷积层，该层用于捕捉序列中的局部依赖关系。这里简单地完成了注意力计算，即对输入的序列内容进行注意力建模，而mask的存在可以使得模型在计算时只关注前面步骤中的Token而不会“窥视”未来的内容。Mamba2模型通过结合SSD的高效计算、一维卷积的局部特征提取能力以及残差连接和归一化的稳定性，实现了对序列数据的快速而准确的处理。
6月4（信息差）
eqwaak0的博客
06-04 1841
🌍AI预测极端天气提速5000倍！微软发布Aurora，借AI之眼预测全球风暴🎄理解老司机，超越老司机！LeapAD：具身智能加持下的双过程自驾系统（上海AI Lab等）✨ICML2024高分！魔改注意力，让小模型能打两倍大的模型。
黑曼巴精神不死！Mamba 2 出世，性能狂飙8倍
weixin_41446370的博客
06-24 2014
Transformer、Mamba和Mamba2都是用于自然语言处理（NLP）任务的大型语言模型（LLM）架构。它们各有优缺点，适用于不同的应用场景。
Mamba-2新架构出世一统江湖！普林斯顿CMU华人再出神作，性能狂飙8倍
06-04 971
新智元报道编辑：编辑部【新智元导读】在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？年前，Mamba被顶会ICLR拒稿的消息曾引起轩然大波。甚至有研究人员表示：如果这种工作都被拒了，那我们这些「小丑」要怎么办？这次，新一代的Mamba-2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值