FourierGNN：Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective 论文解读

FourierGNN：Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective

title: Rethinking Multivariate Time Series Forecasting from a Pure Graph Perspective 重新研究图网络对多变量预测的问题

引入

• 【之前的问题】对于多变量时序预测任务：之前都是把时序间（空间预测），时序内（时间预测）分别放入图神经网络与LSTM或RNN为基的模型，最后再把这两种模型进行集成，这样的缺点就是：
  • 两个网络的不确定性兼容性给手工模型设计带来了额外负担
  • 而且，单独的时空建模自然违背了现实世界中统一的时空相互依存关系，这在很大程度上影响了预测性能
• 【关键问题】在 MTS 预测中，核心挑战是建立序列内（时间）依赖关系模型，同时捕捉序列间（空间）相关性
• 【提出了】超变量图（hypervariate graph）这样的数据结构，并创造了：FourierGNN
  • 它将每个序列值（不考虑变量或时间戳）视为一个图节点，并将滑动窗口表示为时空全连接图。
  • 将时空统一起来，将【经典MTS预测】----转化为---->【超变量图的预测】
  • 傅里叶图神经网络（FourierGNN）【由FGO的堆叠】
  • 揭示了 FGO 在时域上与图卷积的等价性
• 【之前的方法】
  • 基于RNN系列的：更关注时间（时序内）
  • 基于GNN系列的：更关注空间（时序间）
    • 另外：先前的model严重依赖于预定义的图结构来指定空间相关性，而事实上这种图结构无法捕捉空间动态，即随时间变化的空间相关性模式
• 【本文】
  • 探索了直接应用图网络进行预测的相反方向，并研究了一个有趣的问题：即使没有时间网络，纯图网络能否捕捉空间动态和时间依赖关系？
  • 超变量图的核心思想是构建一个时空全连接结构。【将多变量序列的序列内和序列间相关性表述为超变量图中的纯节点-节点依赖关系】
  • 提出了一种新颖的架构–傅立叶图神经网络（FourierGNN），从纯图的角度预测 MTS。
  • 提出了理论分析，以证明 FGO 等同于时域中的图卷积、

理论支撑

为什么图的节点都是全连接的？

由于时滞效应，Xt 的元素在空间或时间上相互关联，因此我们假设超变量图 Gt 中的所有节点都是全连接的

reference

在系统中存在一定延迟或滞后时间时所产生的影响

时滞效应可能导致系统的不稳定性、振荡或者性能下降。时滞可以来自于传感器的测量时间、信号传输的延迟、执行控制动作的延迟等多个方面。处理时滞是控制工程中一个复杂而重要的问题，通常需要采用专门的控制策略来抵消或减轻时滞的影响。

为什么FGO使得时间复杂度由n×d×d 变为了d×d

• 在全连接超变图的情况下，节点数 n 是固定的，不会随着图的规模而改变【相当于常量级不影响复杂度】。相比之下，一般的图可能具有可变的节点数【这时复杂度为n×d×d】，这就需要动态地调整计算图的结构，增加一些开销

  

残差连接

• 其中，S0、W0、A0 为同一矩阵，我们在 k = 0 处采用相同的激活，以获得残差 F(X)。

• 上述公式：FourierGNN 的核心操作是对非线性激活函数进行递归乘法求和。

傅立叶图网络与其他图网络的比较

Domain

GAT 在时域中执行操作，而 GCN 和 FourierGNN 则在傅立叶空间中执行操作。不过，GCN 通过图傅里叶变换 (GFT) 实现变换，而 FourierGNN 则利用离散傅里叶变换 (DFT)。

Information diffusion:

FourierGNN 和 GCN 通过卷积邻居节点来更新节点信息。与 GCN 不同的是，FourierGNN 在不同的扩散步骤中为邻居节点分配不同的重要性

网络架构分析

实验部分

消融实验

说明了：模型扩展与嵌入、动态FGO、残差处理、不仅仅采用最后一层输出这四方面的重要性

通过傅立叶网络学习的时空表征可视化

为了展示 FourierGNN 的时间相关性学习能力，我们将不同变量的时间相邻矩阵可视化

结果表明，FourierGNN 可以为每个县学习到不同的时间模式，这表明超变量图可以编码丰富且具有区分性的时间依赖关系

通过 FourierGNN 学习到的空间表征可视化

探测器（7、8、9、11、13、18）之间的物理距离非常近，因此在热图中它们之间的相关性值很高；2) 探测器 4、14 和 16 的总体相关性值较小，因为它们远离其他探测器；3) 然而，与探测器 14 和 16 相比，探测器 4 与其他探测器（如 7、8、9）的相关性值稍高、7、8、9，这是因为虽然它们相距甚远，但探测器 4、7、8、9 位于同一条道路上

结果验证了**超变量图结构可以表示极具解释性的相关关系**

将 FourierGNN 每一层的输出可视化

可视化结果表明，FGO 可以自适应地有效捕捉重要模式，同时去除噪音，从而学习出具有辨别力的模型。

可视化了不同时间戳的空间相关性

为了研究 FourierGNN 捕捉变量间时变依赖关系的能力

结果表明，FourierGNN 能够有效地关注数据的时间变化。

结果与小结

• 从纯图的角度将图网络直接应用于 MTS 预测（建立了一个超变量图，将每个序列值视为一个图节点，统一考虑时空动态）【克服以往空间和时间模型分离的问题】
• 超变量图上对时间序列预测进行了表述，并通过堆叠傅立叶图算子（FGO）在傅立叶空间进行矩阵乘法，提出了 FourierGNN，它能以更低的复杂度容纳足够的学习表现力。
• FourierGNN 以更高的效率和更少的参数实现了最先进的性能，而且超变量图结构在编码时空相互依赖关系方面表现出强大的能力