【论文阅读】SST: Multi-Scale Hybrid Mamba-Transformer Experts for Long-Short Range Time Series Forecasting

概要

https://arxiv.org/abs/2404.14757
https://github.com/XiongxiaoXu/Mambaformer-in-Time-Series

阅读

背景知识

时间序列预测广泛应用于天气预报、股票预测等领域。论文提到，许多时间序列可以分解为长程的全局模式和短期的局部波动。例如，超级计算机的执行时间可能因网络拥塞而产生极端值，这些局部的短期变化对预测是至关重要的。

举个例子，论文中提到了超级计算机的执行时间，它在长程上呈现出周期性的上升和下降趋势（全局模式），而在短程内可能出现由于网络拥堵而导致的执行时间异常（局部变化）。如果我们只关注其中一种特征，而忽略另一种特征，预测结果将不准确。

引言

作者提出了一个多尺度的混合模型，称为SST（State Space Transformer），这个模型有两个主要组件：

Mamba模型：这个模块被称为“全局模式专家”，用于从粗粒度的长程时间序列中提取全局模式。
Local Window Transformer（LWT）：被称为“局部变化专家”，专注于在精细的短程时间序列中捕捉局部变化。

创新之处

多尺度打补丁方法（Multi-Scale Patching）：通过对时间序列数据进行不同尺度的打补丁操作来调整数据的分辨率，使模型能够在不同粒度上进行预测。
长短期路由器：这个模块能动态学习并整合全局模式和局部变化的信息，确保模型能根据时间序列的特征自适应地调整重点。

研究方法

概述

作者在方法部分提出了一个多尺度的混合Mamba-Transformer架构，称为State Space Transformer（SST）。SST模型的核心思想是将时间序列分为长程全局模式和短程局部变化，分别由Mamba模型和Local Window Transformer（LWT）负责处理。为了实现这两者的有效结合，设计了一个长短期路由器来动态调整这两个专家模型的贡献。

方法部分的核心模块

多尺度打补丁（Multi-Scale Patching）

由于长程时间序列和短程时间序列在粒度上存在不同，作者引入了“打补丁”的概念来调整时间序列数据的分辨率。具体来说，通过聚合时间步长来形成“补丁”，从而降低或提高时间序列的分辨率。
对于长程时间序列，作者使用较大的补丁长度和较长的步幅，以生成低分辨率的时间序列。这使得模型可以忽略短期波动，专注于捕捉全局模式。
对于短程时间序列，使用较小的补丁长度和较短的步幅，生成高分辨率的时间序列，从而可以捕捉更细微的局部变化。
为什么这一步重要？
多尺度的处理使得模型能够在不同的时间范围内找到最适合的特征，从而更好地进行长短期的区分和分析。

Mamba：全局模式专家

Mamba模型是基于状态空间模型（State Space Models，SSM），专门用于处理长程时间序列中的全局模式。
状态空间模型通过对输入信号进行编码和解码，能够保留长期的相关信息，同时过滤掉短期的噪声。这使得Mamba特别适合用于长程序列的全局模式提取。
核心机制：Mamba依靠其递归机制，通过状态转移矩阵不断更新隐藏状态，保留与全局趋势相关的重要信息。它的复杂度为O(L)，即随时间序列的长度线性增加，非常高效。
为什么使用Mamba？
Mamba的优势在于它能够长期保留全局模式，并且复杂度较低，适合处理长时间序列的数据。