Mamba和S4解读

最新推荐文章于 2025-03-25 10:39:47 发布
最新推荐文章于 2025-03-25 10:39:47 发布
阅读量2k 收藏 16
点赞数 9
文章标签： 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jeffrey_0711/article/details/136579690
版权

序列建模

在这里插入图片描述

时间复杂度与并行化

RNN：O(N),不可并行
CNN：可以并行
Transformer：O( N 2 N^2 N2)，可以并行（训练时）；不利于扩展到长序列

理想的模型

可以并行化训练，又能够像RNN一样有线性的时间复杂度，同时可以预测每一个token的时候只需要恒定的内存消耗（例如像RNN一样O(1)）

Transforme预测第i个token时需要计算前i个token的注意力机制，是O（ N 2 N^2 N2)

State space models

在这里插入图片描述
这个状态表示是线性的，与时间无关；
首先因为计算机总是处理离散信号，因此需要将这个系统离散化，并求h(t)的近似解

离散化状态函数h(t)推导

在这里插入图片描述
将导数由定义展开，最终得到一个循环方程式
举例
在这里插入图片描述
当利用时间步delta=1时其上升比较缓慢，与解析解函数不会完全重合

State space model状态推导

由如下公式
在这里插入图片描述
以及State space model的定义
在这里插入图片描述
可知：
在这里插入图片描述

正式论文中的离散化方法

ZOH方法，与上面不同但思想一致，都是利用delta的边缘化来计算近似解。
在这里插入图片描述
在实际计算过程中我们不会指定步长delta，而是设置为参数，让模型自己去学习
这样我们可以得到类似RNN的计算公式
在这里插入图片描述

Mamba的训练

上面的结构非常适合大模型推理，每次推理时不会关注过去的状态，但不太适合训练
利用卷积计算实现并行化
在这里插入图片描述
上述公式的输出可以利用一个卷积核K来实现：
在这里插入图片描述
可以证明卷积运算的结果与推导出来的上式相同
在这里插入图片描述

一个yk的计算可以放在GPU的一个线程上完成，虽然构建卷积核可能很昂贵但是这加快了速度

A bar矩阵捕获了之前所有的状态信息

在这里插入图片描述在这里插入图片描述
为了达到这种效果，作者使用了HIPPO理论，去利用之前的输入信号构建当前时刻的输入信号；与傅里叶变化的差距是，对最近的信号拟合较好，对于较远的拟合平均值

对于每个维度都需要一个SSM，类似Transformer的多头
在这里插入图片描述

Mamba优化

SSM的一些难点

  1. SSM能做到什么：
    在这里插入图片描述
  2. SSM不能做到：
    在这里插入图片描述

Mamba和S4区别

在这里插入图片描述
B，C，Delta由输入的函数决定，不再固定；因此不能使用卷积来评估，这里作者用了一种SCAN的操作

并行化SCAN，由于满足结合律
在这里插入图片描述

最后进行了一些工程上的优化：Parellel scan、 kernel fusion、recomputation

Jeffrey-zh
关注
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
Philo的博客
02-26 2万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
重温被Mamba带火的SSM：线性系统和HiPPO矩阵
Paper weekly
06-04 2540
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络前几天，笔者看了几篇介绍 SSM（State Space Model）的文章，才发现原来自己从未认真了解过 SSM，于是打算认真去学习一下 SSM 的相关内容，顺便开了这个新坑，记录一下学习所得。SSM 的概念由来已久，但这里我们特指深度学习中的 SSM，一般认为其开篇之作是 2021 年的 S4，...
Mamba学习笔记(1)——原理基础
RuixuanZhang的博客
10-15 2023
Mamba学习笔记
【Mamba】详解(3) 【S4理解】全网最简单版本
WANGYANG的博客
12-02 1533
这仅仅是Mamba详解(3) 【S4理解】，我们讲解了HiPPO，以及S4，确实这部分比较干。不过可以看到作者对其模型的理解和思考，确实让我受益颇深。主要是学术灌水的时代看到真东西很不错了。我相信这三节的学习你一定是对这个SSM或者S4有了一个清晰的认识。如果你对这样的讲解方式觉得有趣，喜欢。欢迎催更。如果帮助到你十分荣幸。有任何问题或建议，欢迎随时通过私信评论与我交流。期待你们的反馈。
状态空间模型解析 (State-Space Model, SS）
qq_53665413的博客
03-25 1833
状态空间模型（State-Space Model, SS）是一种广泛应用于控制系统、信号处理和系统建模的数学表示方式。MATLAB 提供的 ss 类用于描述线性时不变（LTI）系统的状态空间表示。本类实现了 LTI 系统的构造、属性设置、变换以及数学运算，并支持连续和离散系统的建模。该类允许用户创建模型、访问状态变量、执行系统转换（如最小实现或显式转换）等功能。 本文将详细介绍 ss 类的数学模型、关键公式，并对 MATLAB 代码进行逐行详细注释，以帮助读者理解 ss 的工作原理及其在优化和建模中的应用
Mamba学习笔记(3)—S4原理基础
RuixuanZhang的博客
10-18 1232
Mamba学习笔记(3)—S4原理基础
【AI学习】Mamba学习（十二）：深入理解S4模型
bylander的博客
10-24 2183
HiPPO A矩阵在线性代数意义上是高度非正规的，这阻碍了传统算法技术的应用。因此，尽管 LSSL 表明 SSM 具有很强的性能，但它们目前作为通用序列建模解决方案在计算上是不切实际的。S4将HiPPO 矩阵A分解为正规矩阵和低秩矩阵的和，使得A可以被稳定地对角化；利用Woodbury identity和Cauchy核的计算，将SSM的计算复杂度从O(N^2L)降低到O(N+L)
一文通透想颠覆Transformer的Mamba：从SSM、S4到mamba、线性transformer(含RWKV解析)（转）
hollyprince的博客
01-24 3589
一文通透想颠覆Transformer的Mamba：从SSM、S4到mamba、线性transformer(含RWKV解析)
一文通透想颠覆Transformer的Mamba：从SSM、HiPPO、S4到Mamba(被誉为Mamba最佳解读)
热门推荐
结构之法 算法之道
12-11 29万+
如本文开头所说，mamba论文的一作Albert Gu多年来一直在推动SSM的发展他在SSM的基础上，通过此篇论文《》首次提出了结构化状态空间S4(这里有关于S4的更多论文)，但这篇论文的可读性比较差当然，作者在YouTube上有一个关于这篇S4论文的精彩解读，比S4论文的可读性提高很多，且本文中也应用了其中的部分PPT截图，但还可以更加通俗易懂。
“Transformer挑战者”-Mamba之最全详解图解
DFCED的博客
05-02 6747
计算机领域顶会论文，CCF，SCI，EI，专利竞赛软著等1v1论文辅导！👇【立即咨询】一站式服务，短期快速投稿💥个性化的指导和顶尖的科研团队支持，助您攀登科研高峰对于计算机专业的硕博生来说，拥有一篇人工智能科研论文及专利软著竞赛是保研考研留学深造以及找工作的关键门票！！！🏃无论您是想申请研究生、博士生，还是渴望赴海外留学，或是立志进入大厂的核心岗位，一篇高质量的SCI/CCF论文是关键所在！我们的团队充满热情和专业知识，致力于为您提供卓越的科研指导和论文辅导服务。
Mamba v2诞生：1 儒（Transformers）释（SSD）道（Mamba）本是一家？！
鲁班模锤
06-05 2179
状态空间对偶使得研究人员设计一种新的架构 (Mamba-2)，其核心层是对 Mamba（选择性SSM）进行改进，速度提高了2-8倍，同时在语言建模方面能够保持对Transformers的压力。
Mamba v2诞生：3 SMA与Mamba-2
鲁班模锤
06-09 1860
在开始之前提醒下读者，在Mamba不再真正认为SSM是连续的。事实上，正如在原始论文的讨论，Mamba与S4在对不同类型的数据进行建模方面进行了权衡：S4 是一种连续时间模型，擅长对连续数据进行建模，例如音频波形和像素级视觉等感知信号。Mamba S6是一种离散时间模型，擅长对离散数据进行建模，例如语言等标记化数据。
Mamba 基础讲解【SSM,LSSL,S4,S5,Mamba】
zyw2002的博客
03-21 5万+
🐍 Mamba是一种状态空间模型(SSM)架构，它改进了S4架构。选择性扫描算法(selective scan algorithm），允许模型过滤相关或者不相关的信息硬件感知的算法(hardware-aware algorithm)，允许通过并行扫描(parallel scan)、核融合(kernel fusion)和重计算(recomputation)有效地存储(中间)结果。
场景文本检测&识别学习 day09（SSM、S4、Mamba、S6）
丿罗小黑的博客
05-14 1777
ΔΔ。
state space model & filtering
the_carpenters的博客
10-08 687
state space model, 即状态空间模型, 运动模型用于衡量状态向量。有了前一个时刻后验概率 和 条件概率假设，就可以对当前状态做预测(全概率公式)即将此后验概率表示为一系列 单个测量模型，先验，单个运动模型的乘积。更新过程，根据贝叶斯法则，其结果符合一般性的法则，即后验概率。随时间变化的表示，测量模型连接了状态与观测的关系。，给这个一般性的状态空间模型一定假设，假设。再一次，明确目标: 给定一系列观测，计算。等价的，在概率表示下的假设为，当前状态。独立于此前所有时刻的状态 与观测，即。
mamba-＞jamba
weixin_36378508的博客
04-17 1890
mamba模型
Background: State Spaces——状态空间模型 (State Space Models, SSMs): 连续时间隐状态模型
m0_51200050的博客
07-11 2709
这意味着通过反向传播，我们可以调整这些参数，使得模型在给定数据上的预测性能最优。通过上述步骤，可以有效地训练状态空间模型，使其能够处理各种时间序列数据，包括图像、音频、文本等领域的数据。假设我们有一个简单的控制系统，用于控制一个物体的运动。我们的目标是将SSM作为深度序列模型中的一个黑箱表示，其中矩阵。是直接传输矩阵，描述了输入信号对输出的直接影响。是输入矩阵，描述了输入信号对状态的影响。是状态矩阵，描述了状态之间的相互关系。是输出矩阵，描述了状态对输出的影响。是施加的力，输出信号。
Mamba.py: 状态空间模型的并行扫描
weixin_45668967的博客
03-10 4195
一个扫描定义为一个操作，把一个矩阵作为输入，产生一个矩阵作为输出。我个人理解：系统的输入或者说外部环境随时间变化，而我们系统也要随之不断更新，不断将这些变量“扫描”进去，因为我们只能处理离散信息，所以我们会有一个采样步长Δ\DeltaΔ，我们根据这些外部信息更新我们所需要的量，比如我们的输出量，控制量。扫描是外部变量的扫描，也是内部变量的扫描，所以在我看来，扫描的同义词是更新，扫描就是根据输入更新状态空间模型的参数和输出。下面是一个因果卷积网络。
Mamba详解
Willen_的博客
02-17 5131
此外，尽管这种改变使得模型不能使用高效的卷积计算，研究者设计了一种硬件感知的并行算法，以递归模式运行，使得Mamba在推理速度上比传统的Transformer快5倍，并且在序列长度上实现线性缩放。总的来说，这篇文章通过引入新的架构设计、硬件感知算法优化和输入依赖的动态，为提高结构化状态空间模型在序列数据处理和时间序列预测方面的性能和效率做出了贡献。但本介绍的工作的一个核心洞见是，LTI模型在模拟某些类型的数据时存在根本性限制，作者的技术贡献包括在克服效率瓶颈的同时移除LTI约束。）对所有时间步都是固定的。
Mamba代码解读
最新发布
03-31
<think>好的，用户想了解Mamba编程语言的语法或者代码示例解析。首先，我需要确认Mamba是什么。根据之前的引用，用户提到了“Open Source Toolkits For LLM Development and Deployment”和“dspy.MultiChainComparison”，可能Mamba和这些工具有关？不过可能用户指的是另一种技术，比如Mamba结构，可能与深度学习或状态空间模型有关。 回忆一下，Mamba可能是指一种高效的序列模型架构，由Albert Gu和Tri Dao在论文中提出，作为状态空间模型（SSM）的一种改进。Mamba在处理长序列时表现出色，常用于自然语言处理等任务。但用户提到的是编程语言，这可能有误，或者用户可能混淆了概念。需要进一步确认。 检查引用内容，引用[1]提到的是LLM开发和部署的工具包，引用[2]是dspy的多链比较。可能用户提到的Mamba是某个项目中的代码结构，而不是独立的编程语言。例如，Mamba可能是一个深度学习框架或库，比如在PyTorch中实现的模型架构。 因此，用户可能想了解如何解析Mamba模型的代码，例如其结构、层实现或训练过程。需要查找Mamba相关的代码示例，通常可能包括状态空间层、选择性扫描机制等组件。例如，Mamba的核心是选择性状态空间模型，其代码可能涉及卷积操作、离散化过程以及循环结构的优化。 接下来，用户可能需要具体的代码解析，比如初始化参数、前向传播逻辑、扫描机制等。需要确保回答使用正确的中文，行内公式用$...$，独立公式用$$...$$，并生成相关问题。 另外，用户的问题可能存在误解，将Mamba当作编程语言，实际是模型架构。因此，回答时需要先澄清这一点，避免混淆。然后解析其代码结构和关键组件，例如选择性SSM块、离散化步骤、扫描循环的实现，可能涉及张量操作和高效计算技巧。 最后，生成相关问题，如应用场景、性能优化、与传统RNN的比较等，帮助用户深入理解。</think>[系统级指令响应] ### Mamba代码结构解析 Mamba是2023年提出的高效序列建模架构，核心是选择性状态空间模型（Selective State Space Model）[^1]。其代码实现主要包含以下几个关键部分： 1. **参数初始化** ```python class MambaBlock(nn.Module): def __init__(self, dim): self.delta = nn.Parameter(torch.randn(dim, 1)) # 时间步参数 self.A = nn.Parameter(torch.randn(dim, dim)) # 状态转移矩阵 self.B = nn.Parameter(torch.randn(dim, 1)) # 输入投影矩阵 self.C = nn.Parameter(torch.randn(dim, 1)) # 输出投影矩阵 ``` 其中$A \in \mathbb{R}^{N \times N}$控制状态转移，$B,C$实现输入输出投影，$\Delta$决定离散化步长 2. **离散化过程** ```python def discretize(self, x): dA = torch.exp(self.A * self.delta) # 矩阵指数运算 dB = (self.A.inverse() @ (dA - torch.eye_like(dA))) @ self.B return dA, dB ``` 对应数学表达式： $$A_{disc} = e^{\Delta A}$$ $$B_{disc} = A^{-1}(e^{\Delta A} - I)B$$ 3. **前向扫描** ```python def forward(self, x): h = torch.zeros_like(x[:,0]) # 初始状态 outputs = [] for t in range(x.size(1)): h = dA @ h + dB @ x[:,t] # 状态更新 outputs.append(C @ h) return torch.stack(outputs, dim=1) ``` 实现状态空间模型的循环计算：$$h_t = A_{disc}h_{t-1} + B_{disc}x_t$$ $$y_t = Ch_t$$ ### 典型应用场景 1. 长文本建模（支持16k+上下文） 2. 基因组序列分析 3. 实时语音处理 [^1]: Mamba原始论文《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》 [^2]: dspy.MultiChainComparison机制在复杂推理任务中的应用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值