MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Series Forecasting

最新推荐文章于 2025-04-23 15:46:44 发布

ZhengXinTang

最新推荐文章于 2025-04-23 15:46:44 发布

阅读量1.8k

点赞数 3

分类专栏： # 时序分析文章标签：人工智能

原文链接：shixuren.com

版权

时序分析专栏收录该内容

4 篇文章

订阅专栏

点击名片

关注并星标

#TSer**#**

加入时序人学术星球**

参与算法讨论，获取前沿资料

多变量时间序列预测一直是各学科面临的持续性挑战。时间序列数据通常表现出多样的序列内和序列间相关性，这导致了复杂且相互交织的依赖关系，成为众多研究的焦点。

然而，在理解多个时间序列在不同时间尺度上的变化序列间相关性方面，仍存在重大的研究空白，这一领域在文献中受到的关注有限。

本文介绍一篇来自四川大学、香港科技大学、北京理工大学联合发表的多元时间序列预测论文。该工作提出了MSGNet，旨在使用频域分析和自适应图卷积捕获多个时间尺度上的变化序列间相关性，弥补了上述领域空白。

论文标题： MSGNet: Learning Multi-Scale Inter-Series Correlations for Multivariate Time Series Forecasting

论文地址： https://arxiv.org/abs/2401.00423

论文源码： https://github.com/YoZhibo/MSGNet

论文概述

MSGNet是一种先进的深度学习模型，旨在使用频域分析和自适应图卷积捕获多个时间尺度上的变化序列间相关性。通过利用频域分析，MSGNet可以有效地提取显著的周期性模式，并将时间序列分解为不同的时间尺度。

该模型结合了自注意力机制来捕获序列内依赖关系，同时引入了一个自适应的混合跳图卷积层，以在每个时间尺度内自主学习多样的序列间相关性。此外，MSGNet还具有自动学习可解释的多尺度序列间相关性的能力，即使在应用于分布外样本时，也表现出强大的泛化能力。

综上，该论文的一个核心出发点就是：多变量之间的关系在具有多尺度性。研究者以下图为例，其中在时间尺度1上，我们可以观察到两个时间序列之间的正相关，而在较短的时间尺度2上，我们可能会注意到它们之间的负相关。通过使用基于图的方法获得了两个不同的图结构。因此，MSGNet的引入和其在时间序列分析中的应用，特别是在捕捉不同时间尺度上的变化序列间相关性方面，为解决这一领域的重要问题提供了新的途径。

模型框架

MSGNet模型的整体架构如下图所示。MSGNet由多个ScaleGraph模块组成，其核心在于能够无缝地融合各种组件。

每个ScaleGraph模块包含四个步骤：

1. 识别输入时间序列的尺度；

2. 使用自适应图卷积模块揭示与尺度相关的序列间相关性；

3. 通过多头注意力捕捉序列内相关性；

4. 使用SoftMax函数自适应地聚合来自不同尺度的表示。

MSGNet的这种多尺度学习和图卷积的结合，使得模型能够更全面地理解时间序列数据，并准确地预测未来趋势。此外，多头注意力的引入进一步增强了模型捕捉序列内复杂模式的能力。

Input Embedding and Residual Connection

这部分主要参考的是Informer等工作，输入主要是对原始输入序列做1维卷积，并加上position embedding和时间embedding。

在这里，ScaleGraphBlock表示构成MSGNet层核心功能的操作和计算。

Scale Identification

研究者的目标是通过利用不同时间尺度上的序列间相关性来提高预测精度。尺度的选择是该模型方法的关键，因此研究者将周期性作为尺度来源的选择。

受 TimesNet 的启发，研究者采用快速傅里叶变换（FFT）来检测突出的周期性作为时间尺度，以便更准确地捕捉时间序列数据中的周期性模式。将时间序列映射到频域，找到topK的主要频率，作为scale。

Multi-scale Adaptive Graph Convolution

研究者提出了一种新的多尺度图卷积方法，以捕获特定且全面的跨序列依赖关系。为实现这一点，首先通过线性变换将第i个尺度对应的张量重新投影到具有N个变量的张量上，其中N表示时间序列的数量。这种投影是通过线性变换来完成的，定义如下：

其中，
，
是一个可学习的权重矩阵，专为第i个尺度张量定制。有人可能会担心，在应用线性映射和随后的线性映射后，跨序列相关性可能会受到影响。但研究者的综合实验表明：通过图卷积方法，所提出的方法能够熟练地保留跨序列相关性。

Multi-head Attention and Scale Aggregation

在每个时间尺度上，研究者采用多头注意力（Multi-head Attention，MHA）来捕捉序列内的相关性。通过采用尺度变换将长时间跨度转换为周期性长度，解决了MHA在捕捉时间序列中长期时间相关性的有效性的质疑问题。

Output Layer

为了进行预测，模型在时间维度和变量维度上都采用线性投影。通过这种方式，模型能够捕获时间序列数据中的复杂模式，并通过线性投影将这些模式映射到未来的时间点。这使得MSGNet能够有效地进行长期和短期预测，并适用于各种时间序列预测任务，如天气预测、股票价格预测等。

实验效果

该工作在8个数据集上进行了实验，分别是Flight、Weather、ETT（h1、h2、m1、m2）、Exchange-Rate 和 Electricity。

具体来说，就不同预测长度的平均均方误差（MSE）而言，MSGNet在5个数据集上实现了最佳性能，在2个数据集上实现了次佳性能。在Flight数据集上，MSGNet超过了当前的最佳模型TimesNet，平均MSE和MAE分别降低了21.5%（从0.265降至0.208）和13.7%（从0.372降至0.321）。