Mamba+时间序列预测！既要SOTA又要低开销！

最新推荐文章于 2025-04-20 16:15:08 发布

深度之眼

最新推荐文章于 2025-04-20 16:15:08 发布

阅读量5.7k

点赞数 17

分类专栏：深度学习干货人工智能干货文章标签：人工智能计算机视觉论文 mamba

本文链接：https://blog.csdn.net/weixin_42645636/article/details/139574654

版权

深度学习干货同时被 2 个专栏收录

676 篇文章

订阅专栏

人工智能干货

649 篇文章

订阅专栏

Mamba在性能和效率上的优势大家都有目共睹，因此最近越来越多研究也开始关注Mamba+时间序列预测。

在时间序列预测中，数据的长期依赖性是一个核心的挑战。与Transformer等模型相比，Mamba在训练阶段和推理阶段都具有随序列长度线性增长的时间复杂度，这显著提高了运算效率。同时，Mamba的架构相对简单，去除了传统的注意力和MLP块，也提供了更好的可扩展性和性能。

如SiMBA等多个基于Mamba的时间序列预测实践案例证明了这一方法的有效性，在实现SOTA的同时还能保持较低的计算开销。

为帮大家梳理Mamba时间序列预测的最新进展，我整理了2024新发表的11篇高质量工作，可参考的创新点都提炼好了，开源代码已附。

论文原文以及开源代码需要的同学看文末

Bi-Mamba+: Bidirectional Mamba for Time Series Forecasting

方法：论文提出一种适应性地捕捉多变量时间序列数据的内部或者系列间依赖关系的新模型Bi-Mamba+，并且通过在Mamba中添加遗忘门来选择性地将新特征与历史特征进行补充性地结合，从而在更长的范围内保留历史信息。通过在模型中引入双向结构和分割时间序列为小块来更全面地建模时间序列数据。

创新点：

提出了Bi-Mamba+模型，通过改进的Mamba+块和双向结构，更准确地预测了多元时间序列数据。
设计了SRA决策器，基于Spearman相关系数自动选择通道独立或通道混合的标记策略，并将时间序列划分为片段以更细粒度地捕捉长期依赖关系。
在8个广泛使用的真实世界数据集上进行了广泛实验，结果表明Bi-Mamba+在不同的预测长度下取得了优越的性能。

DTMamba : Dual Twin Mamba for Time Series Forecasting

方法：论文提出一种名为DTMamba的模型，通过利用两个TMamba模块，有效捕捉时间数据中的长期依赖关系，从而在长期时间序列预测中取得更好的性能。

创新点：

提出了DTMamba模型，该模型由两个TMamba块组成。通过利用两个TMamba块，DTMamba可以有效地捕捉时间数据中的长期依赖关系。
引入了通道独立和反向通道独立的概念。在时间序列数据预测中，通道独立可以防止模型过拟合。为了使每个通道的数据可以独立处理，需要对时间序列数据进行重塑。作者提出的通道独立方法可以有效地处理这个问题，并且在模型性能上具有明显优势。

MambaTS: Improved Selective State Space Models for Long-term Time Series Forecasting

方法：论文介绍了一种名为MambaTS的新型多变量时间序列预测模型。通过改进选择性SSMs，该模型能够在全局上建立依赖关系，并在多个数据集和预测设置中取得了最新的最佳结果。

创新点：

介绍了一种新的时间序列预测模型MambaTS，该模型在改进的选择性SSMs的基础上进行了构建。通过引入VST，作者有效地组织了所有变量的历史信息，形成了全局的回顾序列。
提出了VAST，它可以在训练过程中发现不同变量之间的关系，并利用ATSP求解器确定最佳变量扫描顺序。
引入了变量沿时间扫描机制(VST)，将变量的标记以交替的方式在时间步中排列。这种结构化组织使模型能够更准确地捕捉时间序列数据中的长期依赖性和动态变化。

Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting

方法：本文旨在探索时间序列数据中Mamba和Transformer架构的融合潜力，提出了一种混合框架Mambaformer，通过内部整合Mamba和Transformer的优势实现长短范围的时间序列预测，实验证明Mambaformer家族在长短范围时间序列预测问题上优于Mamba和Transformer。

创新点：

提出了一种混合架构，将Mamba模型和Transformer模型结合起来用于时间序列预测。他们研究了Mambaformer家族的不同结构，包括Mambaformer、注意力-Mamba混合模型和Mamba-注意力混合模型。这些混合模型整合了Mamba和Transformer的优势，有助于进行有效的预测任务。
核心的Mambaformer层交错了Mamba层和自注意力层，以结合Mamba和Transformer的优点。注意力层捕捉时间序列数据中的短期依赖关系，而Mamba层增强了捕捉长期依赖关系的能力。这一层显著提高了Mambaformer家族在长短程时间序列预测中的性能。