Mamba+时间序列预测！既要SOTA又要低开销！

最新推荐文章于 2025-03-13 16:24:31 发布
最新推荐文章于 2025-03-13 16:24:31 发布
阅读量5.5k 收藏 66
点赞数 17
分类专栏： 深度学习干货 人工智能干货 文章标签： 人工智能 计算机视觉 论文 mamba
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42645636/article/details/139574654
版权

Mamba在性能和效率上的优势大家都有目共睹，因此最近越来越多研究也开始关注Mamba+时间序列预测。

在时间序列预测中，数据的长期依赖性是一个核心的挑战。与Transformer等模型相比，Mamba在训练阶段和推理阶段都具有随序列长度线性增长的时间复杂度，这显著提高了运算效率。同时，Mamba的架构相对简单，去除了传统的注意力和MLP块，也提供了更好的可扩展性和性能。

如SiMBA等多个基于Mamba的时间序列预测实践案例证明了这一方法的有效性，在实现SOTA的同时还能保持较低的计算开销。

为帮大家梳理Mamba时间序列预测的最新进展，我整理了2024新发表的11篇高质量工作，可参考的创新点都提炼好了，开源代码已附。

论文原文以及开源代码需要的同学看文末

Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting

方法：论文提出一种适应性地捕捉多变量时间序列数据的内部或者系列间依赖关系的新模型Bi-Mamba+，并且通过在Mamba中添加遗忘门来选择性地将新特征与历史特征进行补充性地结合，从而在更长的范围内保留历史信息。通过在模型中引入双向结构和分割时间序列为小块来更全面地建模时间序列数据。

创新点：

  • 提出了Bi-Mamba+模型，通过改进的Mamba+块和双向结构，更准确地预测了多元时间序列数据。

  • 设计了SRA决策器，基于Spearman相关系数自动选择通道独立或通道混合的标记策略，并将时间序列划分为片段以更细粒度地捕捉长期依赖关系。

  • 在8个广泛使用的真实世界数据集上进行了广泛实验，结果表明Bi-Mamba+在不同的预测长度下取得了优越的性能。

DTMamba : Dual Twin Mamba for Time Series Forecasting

方法：论文提出一种名为DTMamba的模型，通过利用两个TMamba模块，有效捕捉时间数据中的长期依赖关系，从而在长期时间序列预测中取得更好的性能。

创新点：

  • 提出了DTMamba模型，该模型由两个TMamba块组成。通过利用两个TMamba块，DTMamba可以有效地捕捉时间数据中的长期依赖关系。

  • 引入了通道独立和反向通道独立的概念。在时间序列数据预测中，通道独立可以防止模型过拟合。为了使每个通道的数据可以独立处理，需要对时间序列数据进行重塑。作者提出的通道独立方法可以有效地处理这个问题，并且在模型性能上具有明显优势。

MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting

方法：论文介绍了一种名为MambaTS的新型多变量时间序列预测模型。通过改进选择性SSMs，该模型能够在全局上建立依赖关系，并在多个数据集和预测设置中取得了最新的最佳结果。

创新点：

  • 介绍了一种新的时间序列预测模型MambaTS，该模型在改进的选择性SSMs的基础上进行了构建。通过引入VST，作者有效地组织了所有变量的历史信息，形成了全局的回顾序列。

  • 提出了VAST，它可以在训练过程中发现不同变量之间的关系，并利用ATSP求解器确定最佳变量扫描顺序。

  • 引入了变量沿时间扫描机制(VST)，将变量的标记以交替的方式在时间步中排列。这种结构化组织使模型能够更准确地捕捉时间序列数据中的长期依赖性和动态变化。

Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting

方法：本文旨在探索时间序列数据中Mamba和Transformer架构的融合潜力，提出了一种混合框架Mambaformer，通过内部整合Mamba和Transformer的优势实现长短范围的时间序列预测，实验证明Mambaformer家族在长短范围时间序列预测问题上优于Mamba和Transformer。

创新点：

  • 提出了一种混合架构，将Mamba模型和Transformer模型结合起来用于时间序列预测。他们研究了Mambaformer家族的不同结构，包括Mambaformer、注意力-Mamba混合模型和Mamba-注意力混合模型。这些混合模型整合了Mamba和Transformer的优势，有助于进行有效的预测任务。

  • 核心的Mambaformer层交错了Mamba层和自注意力层，以结合Mamba和Transformer的优点。注意力层捕捉时间序列数据中的短期依赖关系，而Mamba层增强了捕捉长期依赖关系的能力。这一层显著提高了Mambaformer家族在长短程时间序列预测中的性能。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“曼巴时序”获取全部论文+代码

码字不易，欢迎大家点赞评论收藏

清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%
代码讲故事
04-27 1328
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%。
论文阅读：Vision Mamba: A Comprehensive Survey and Taxonomy
weixin_49641282的博客
10-18 1720
一篇关于视觉Mamba模型的综述论文的精读
Transformer和Mamba强强结合！最新混合架构全面开源，推理速度狂飙8倍
学姐带你玩AI的博客
07-05 6583
最近发现，，效果会比单独使用好很多，这是因为该方法结合了Mamba的长序列处理能力和Transformer的建模能力，可以显著提升计算效率和模型性能。典型案例如大名鼎鼎的Jamba：Jamba利用Transformer架构的元素增强Mamba 结构化状态空间模型技术，提供了 256K 上下文窗口，吞吐量直接超了Transformer三倍。除Jamba外，近日又有不少最新提出的Transformer结合Mamba的研究，效果都很赞，比如Mamba-2-Hybrid，推理速度比Transformer快8倍。
基于MAMbaS+transformer时间序列预测模型（Python完整源码和数据）
11-01
1.MAMBAS,transformer,python代码，pytorch架构 2.适合功率预测，风电光伏预测，负荷预测，流量预测，浓度预测，机械领域预测等等各种时间序列直接预测。 3.MAMBAS是在2024年5月顶会提出的一个对MAMBA的改进版。首先，简单地让 SSM 参数成为输入的函数，解决了它们在离散模态方面的弱点，允许模型根据当前标记选择性地沿序列长度维度传播或忘记信息。其次，尽管这种变化阻止了高效卷积的使用，但我们在循环模式下设计了一种硬件感知的并行算法。我们将这些选择性 SSM 集成到一个简化的端到端神经网络架构中，无需注意，甚至没有 MLP 块。 4.创新性非常高。功能如下：多变量输入，单变量输出，多时间步预测，单时间步预测，评价指标：R方 RMSE MAE MAPE，对比图 5.数据从excel/csv文件中读取。
Mamba+时间序列预测：又被秀到了，发顶会分分钟的事！！
2501_91057708的博客
03-13 846
在时间序列预测的领域，Mamba架构正不断突破技术瓶颈，为精确预测提供了新的方向！如何更有效地捕捉长期依赖关系并提升预测的准确性与稳定性？本期推荐的两篇前沿论文展示了Mamba+时间序列的最新创新，解锁了时间序列建模的新潜力！🔥DTMamba（Dual Twin Mamba）通过引入，配合，在处理长序列时表现出色，并有效避免了梯度消失问题。实验结果表明，DTMamba在多个基准数据集上优于现有的SOTA，成为了新一代时间序列预测的核心工具！⚡。
2024年时间序列预测领域的SOTA模型总结
m0_57689625的博客
03-02 2116
本文借助了deepseek和自己的理解向大家主要介绍的是时间序列领域的不同场景的SOTA模型（涵盖长/短期预测、单/多变量场景），结合最新顶会论文和开源实现，按技术路线分类整理
探秘Mamba Transformer：新一代高效序列建模框架
gitblog_00013的博客
06-19 462
探秘Mamba Transformer：新一代高效序列建模框架 MambaTransformerIntegrating Mamba/SSMs with Transformer for Enhanced Long Context and High-Quality Sequence Modeling项目地址:https://gitcode.com/gh_mirrors/ma/MambaTransfo...
Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting————4 METHODOLOG
m0_51200050的博客
07-25 1261
Mambaformer模型通过结合Mamba块和多头注意力机制，利用状态空间建模和注意力机制捕捉时间序列数据中的长短期依赖关系。这种架构允许高效处理和预测，融合了Mamba和Transformer模型的优势。受混合架构在语言建模中优势的启发【23】，我们提出利用Mambaformer来整合Mamba和Transformer，以捕捉时间序列数据中的长短期依赖，从而提升性能。Mambaformer采用类似GPT系列【5, 25, 26】的仅解码器（decoder-only）架构。
Mamba对时间序列预测有效吗
Hanscal
08-22 1526
文章介绍了Simple-Mamba (S-Mamba)，一种基于Mamba的选择性状态空间模型，该模型通过降低计算复杂度，在保持高性能的同时实现了高效的时间序列预测。论文题目：Is Mamba Effective for Time Series Forecasting?论文链接： https://arxiv.org/abs/2403.11144PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中探索前行，期待共同进步！
AI论文速读 |【Mambda×时序预测】 时光机（TimeMachine）:A Time Series is Worth 4 Mambas for Long-term Forecasting
suzukiwudi的博客
03-27 3395
由于捕获长期依赖性、实现线性可扩展性和保持计算效率的困难，长期时间序列预测仍然具有挑战性。推出了 TimeMachine，这是一个创新模型，它利用 Mamba（一种状态空间模型）来捕获多元时间序列数据中的长期依赖性，同时保持线性可扩展性和较小的内存占用。
时序预测 | 基于MAMbaS+transformer时间序列预测模型（pytorch）
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
09-01 1376
时序预测 | 基于MAMbaS+transformer时间序列预测模型（pytorch）
Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting——ABSTRACT
m0_51200050的博客
07-23 475
在这篇论文中，我们提出了一种混合框架Mambaformer，它内部结合了Mamba用于长程依赖关系和Transformer用于短程依赖关系，以进行长短程时间序列预测。通过将Mamba用于捕捉季节性变化（长程依赖）和Transformer用于捕捉每天的天气模式（短程依赖），Mambaformer可以更准确地预测未来的天气。同样，在股市预测中，Mamba可以捕捉到市场的长期趋势，而Transformer则可以捕捉到日常的市场波动，从而更好地预测股票价格。
使用Mamba运动互补(MV-MOS): 多视角实现3D动态物体分割
自动驾驶实战
09-02 1015
高效地总结稠密的3D点云数据并提取运动物体的运动信息（运动物体分割，MOS）对于自动驾驶和机器人应用至关重要。如何有效利用运动和语义特征并在3D到2D投影过程中避免信息丢失仍然是一个关键挑战。本文提出了一种新的多视角MOS模型（MV-MOS），通过融合来自点云不同2D表示的运动-语义特征来解决这一挑战。为了有效利用互补信息，所提出模型的运动分支结合了鸟瞰图（BEV）和距离视图（RV）表示中的运动特征。此外，还引入了一个语义分支，为运动物体提供补充的语义特征。
新一代状态空间模型网络替代Transformer 综述
liangdaojun的博客
04-28 3060
本文首先初步介绍了状态空间模型（SSM）的工作原理。然后，从多个方面回顾SSM的相关工作，包括SSM的起源和变化、自然语言处理、计算机视觉、图、多模态处理、多模态和多媒体、点云/事件流数据、时间序列数据等领域的相关工作。此外，作者在多个下游任务中进行了广泛的实验，以验证SSM的有效性。下游的任务包括单/多标签分类、视觉目标跟踪、像素级分割、图像到文本的生成和人/车辆的重识别。最后，提出了SSM的在理论和应用上的一些可能的研究方向，并对本文作出了总结。
量子位 | 时隔6年BERT升级！仅编码器架构没被杀死，更快更准确更长上下文
csdn_xmj的博客
12-28 1040
时隔6年，一度被认为濒死的“BERT”杀回来了——更现代的ModernBERT问世，更快、更准、上下文更长，发布即开源！
Mamba 与 Transformer 结合，三篇最新论文
u014546828的博客
03-01 1141
为此，我们提出TransMamba跨架构训练框架，将Transformer知识迁移至Mamba架构。针对跨模态学习设计跨Mamba模块，将语言感知注入视觉特征，增强Mamba的跨模态交互能力。该模型通过交叉堆叠Transformer与Mamba模块实现特征提取，创新设计：1）Mamba模块引入四向扫描路径的图像修复状态空间（IRSS）模块，实现长序列高效处理；1 郑州大学，2 苏黎世联邦理工学院 3 荷语鲁汶大学, 4 计算机科学、人工智能与技术研究所，索非亚大学，5 维尔茨堡大学。
Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting———PRELIMINARIES
m0_51200050的博客
07-25 1206
相比传统的RNN和LSTM，SSM具有更好的计算效率，特别是在长时间序列中。例如，知道某天是周末还是工作日、某个时间点是白天还是晚上，可以帮助模型更好地预测某些类型的数据，如交通流量或能源消耗。这个卷积过程允许在一次计算中考虑到多个时间步的输入对输出的影响，从而实现更高效的计算。步，以包含最新的数据。这种方法确保了模型始终使用最新的信息进行预测，有助于应对时间序列中的变化趋势。的未来值，这要求模型能够捕捉和理解数据中的趋势和模式，从而提供精确的预测。个时间步的信息，并且根据这些新的数据进行下一步的预测。
MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting
weixin_45731480的博客
06-06 734
近年来，Transformers 已成为长期序列预测（LTSF）事实上的架构，但面临着二次复杂度和排列不变偏差等挑战。最近的模型 Mamba 基于选择性状态空间模型 (SSM)，已成为 Transformer 的竞争替代品，提供可比的性能、更高的吞吐量和与序列长度相关的线性复杂度。在本研究中，我们分析了当前 Mamba 在 LTSF 中的局限性，并提出了四项有针对性的改进，从而形成了 MambaTS。我们首先引入沿时间的变量扫描，将所有变量的历史信息排列在一起。
mamba时序预测
最新发布
03-31
### 基于Mamba的时间序列预测方法实现 为了实现基于Mamba的时间序列预测方法，可以按照以下方式构建模型并完成其实现： #### 1. 数据准备 在时间序列预测任务中，通常需要将原始数据转换为适合模型输入的形式。假设多元时间序列的数据形状为 \( B \times M \times n_i \)，其中 \( B \) 表示批次大小，\( M \) 表示特征维度，\( n_i \) 表示时间步数。 ```python import torch # 示例：生成随机时间序列数据 batch_size = 32 feature_dim = 8 time_steps = 64 data = torch.randn(batch_size, feature_dim, time_steps) print(f"Input data shape: {data.shape}") ``` --- #### 2. 构建Mamba模块 Mamba是一种高效的注意力机制变体，其核心在于减少计算复杂度的同时保持较高的精度。以下是简化版的Mamba模块实现[^4]。 ```python class MambaModule(torch.nn.Module): def __init__(self, d_model, num_heads=8, dropout=0.1): super(MambaModule, self).__init__() self.d_model = d_model self.num_heads = num_heads # 定义多头自注意力层 self.self_attn = torch.nn.MultiheadAttention(d_model, num_heads, dropout=dropout) # 定义前馈网络 self.ffn = torch.nn.Sequential( torch.nn.Linear(d_model, d_model * 4), torch.nn.GELU(), torch.nn.Dropout(dropout), torch.nn.Linear(d_model * 4, d_model) ) def forward(self, x): attn_output, _ = self.self_attn(x, x, x) ffn_output = self.ffn(attn_output) return ffn_output + x # 残差连接 ``` --- #### 3. 组合多个Mamba块形成TimeMachine模型 根据论文描述，TimeMachine模型由多个Mamba块组成，并支持双向结构以捕捉时间序列中的上下文信息[^3]。 ```python class TimeMachineModel(torch.nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers=4, num_heads=8, dropout=0.1): super(TimeMachineModel, self).__init__() layers = [] for _ in range(num_layers): layers.append(MambaModule(hidden_dim, num_heads=num_heads, dropout=dropout)) self.mamba_stack = torch.nn.Sequential(*layers) self.input_proj = torch.nn.Linear(input_dim, hidden_dim) self.output_proj = torch.nn.Linear(hidden_dim, output_dim) def forward(self, x): x = self.input_proj(x.permute(2, 0, 1)) # 调整到 (time_steps, batch_size, features) x = self.mamba_stack(x) x = self.output_proj(x[-1]) # 使用最后一个时间步作为输出 return x ``` --- #### 4. 训练过程 定义损失函数和优化器，并进行训练循环。 ```python model = TimeMachineModel(input_dim=feature_dim, hidden_dim=128, output_dim=1) criterion = torch.nn.MSELoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(10): # 示例：运行10个epoch optimizer.zero_grad() outputs = model(data) loss = criterion(outputs.squeeze(-1), target_data) # 替换target_data为目标标签 loss.backward() optimizer.step() print(f"Epoch [{epoch+1}/10], Loss: {loss.item():.4f}") ``` --- #### 总结 上述代码展示了如何利用Mamba模块构建一个简单的时间序列预测模型——TimeMachine。该模型通过堆叠多个Mamba块实现了高效的时间序列建模能力[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值