Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting——ABSTRACT

时间序列预测是一个重要问题，在天气预报、股市预测和科学模拟等各种应用中发挥着关键作用。尽管Transformer在捕捉依赖关系方面效果显著，但其注意力机制的二次复杂性阻碍了其在长时间序列预测中的进一步应用，从而限制了其只能关注短期范围。近期在状态空间模型（SSM）方面的进展表明，由于其次方复杂性，SSM在建模长程依赖关系方面表现出色。作为SSM的代表，Mamba享有线性时间复杂性，并在需要扩展到长序列的任务中（如语言、音频和基因组学）表现出强大的可扩展性。

在这篇论文中，我们提出了一种混合框架Mambaformer，它内部结合了Mamba用于长程依赖关系和Transformer用于短程依赖关系，以进行长短程时间序列预测。据我们所知，这是第一篇在时间序列数据中结合Mamba和Transformer架构的论文。我们研究了可能的混合架构，以将Mamba层和注意力层结合用于长短程时间序列预测。比较研究表明，Mambaformer系列在长短程时间序列预测问题上可以优于Mamba和Transformer。

例如，在天气预报中，长程依赖关系可能涉及季节性变化，而短程依赖关系可能涉及每天的天气模式。通过将Mamba用于捕捉季节性变化（长程依赖）和Transformer用于捕捉每天的天气模式（短程依赖），Mambaformer可以更准确地预测未来的天气。同样，在股市预测中，Mamba可以捕捉到市场的长期趋势，而Transformer则可以捕捉到日常的市场波动，从而更好地预测股票价格。

代码可在以下网址获取：https://github.com/XiongxiaoXu/Mambaformerin-Time-Series。