CrossGNN Confronting Noisy Multivariate Time Series Via Cross Interaction Refinement 论文解读

CrossGNN Confronting Noisy Multivariate Time Series Via Cross Interaction Refinement 论文解读

title: Confronting Noisy Multivariate Time Series Via Cross Interaction Refinement 【用交叉作用细化方法对抗多变量时间序列的噪声】

背景词汇解释

• 时间波动：某一变量随着时间的变化而变化，这种波动可能是由于有一定规律的特征所影响，也有可能是收到噪声的影响而波动。
• 同质性和异质性：
  • 同质性：某个系统、群体或数据集中，个体或元素之间在某个方面相似或具有相同的性质、特征或状态
  • 异质性：所考虑的不同变量之间存在差异或多样性。这种异质性可以表现为多个方面，包括变量类型、度量尺度、分布特征等

问题引入

• 我们发现，现有方法**无法很好地处理时间波动和变量之间的异质性问题**
• 为解决上述问题，我们提出了 CrossGNN 模型，这是一种**线性复杂 GNN 模型**，用于完善 MTS 的跨尺度和跨变量交互作用。
  • 处理时间维度上的意外噪声：
    利用自适应多尺度标识符（AMSI）来构建具有较低噪声的多尺度时间序列
  • 提取趋势更清晰、噪声更弱的尺度；充分利用跨尺度变量的同质性和异质性
    提出了一种跨尺度 GNN
  • 复杂度：
    线性时间复杂度
• 基于Transformer的自注意力模型的缺陷：
  • 自注意力机制的模型太过于依赖上下文的信息，导致了只要有噪声扰动
  • 受到噪声影响的点，反而被分到了高的注意力分数，从而导致虚假的跨时间相关性
  • 趋势更清晰、噪声更弱的刻度将被赋予更多的边缘权重
• 由于噪声干扰的影响，提取不同尺度的变量的交互作用非常困难
• 变量之间的同质和异质关系没有利用好

​

因此：关键问题是：

• 如何捕捉对意外输入噪声不敏感的跨尺度交互作用：就像在电视上看清晰画面，我们希望找到一种方法，不受电视信号突然干扰（噪声）的影响，仍然能够理解不同层次之间的互动关系
• 如何提取异质变量之间的交叉变量关系。就好比要找到一种方法，能够看出苹果和橙子之间可能存在的关系，尽管它们在很多方面是不同的

模块分析

1、相关工作

（1）Cross-Time Interaction Modeling.【Transformer为主】

• 捕捉**不同时间点之间**的相关性

（2）Cross-Variable Interaction Modeling.【GNN为主】

• 跨变量交互对于 MTS 预测至关重要 [34]，许多研究都采用了图神经网络 (GNN)
• 但是跨变量交互又很容易受到噪声的影响，因此通过将 MTS 中的同质性和异质性分离，完善了跨变量变量关系，从而在时间演化过程中形成了对噪声不敏感的关系。

2、本文模块

（1）adaptive multi-scale identifier（AMSI）(自适应多尺度识别器)

• 【目的】处理时间维度上的意外噪声
• 【功能】具体来说，利用 AMSI 构建具有不同噪声水平的多尺度时间序列

（2）Cross-Scale Interaction 跨尺度互动

• 【目的】捕捉不同尺度上的依赖关系可使跨时间关系不受噪声影响
• 【功能】捕捉趋势更清晰、噪声更弱的尺度

（3）Cross-Variable Interaction 跨变量互动

• 【目的】真实世界的数据中，不同变量交互既存在同质性，也存在异质性。因此，学习包含变量间同质和异质关系的不变量关联，可以增强其对抗噪声的鲁棒性
• 【功能】跨变量互动的 GNN 用于模拟不同变量之间的动态相关性。

模型架构

Adaptive Multi-Scale Identifier （AMSI）

• 以捕捉 MTS 从粗到细的不同尺度，并减少粗尺度上的意外噪声

Cross-Scale GNN

• 跨尺度 GNN 的主要目的是学习对噪声干扰不敏感的跨尺度时间相关权重 Escale。

• 首先，该模块的输入是经过AMSI处理后的多条序列

• 同时，生成两个可学习向量 vecscale 1 和 vecsclae 2 来初始化 Escale，从而保持其独立性，确保 Escale 不受隐藏在输入中的噪声影响

• 基本数据结构：

  

  参考：时间维度上的跨尺度图表示为Gscale=(Vscale,Escale)。 Vscale = {vscale 1 , vscale 2 , …, vscale L′ } 为所有时间尺度下设置的时间节点，其中vscale i 为第i个时间节点。 Escale ∈ RL′×L′ 分配每个时间节点之间的相关权重，Escale 中的每个元素表示两个时间节点（尺度间或尺度内）之间的相关权重。

  

Scale-sensitive Restriction.（规模敏感限制）

• 对于任何时间节点而言，其相关时间节点在细尺度上的数量应多于粗尺度上的数量。
• 因此应该确保更细尺度的时间序列能产生更多的时间节点关联
• 可以根据相关权重矩阵 Escale 来限制不同尺度的相邻节点数量

Trend-aware Selection. 趋势感知选择

• 为确保能够捕捉时间趋势，我们保留了时间节点与其前后节点之间的关联

相关权重重归一化

• 为每个节点保留一组受限的相邻节点 N (vscale i )。此外，重新归一化应用于保留的相关性。

Cross-scale interaction.

• 得到跨尺度时间相关图后，我们基于GNN在时间维度上进行跨尺度交互，信息传播过程将堆叠N层

Htime为时间节点特征； HN时间是邻居时间节点特征的聚合。 HN time,N i,：聚合与 vscale i 的时间节点相关的上一层的相邻节点特征。然后通过聚合时间节点特征 HN time,N i,: 及其前一层特征 Htime,N−1 i,: 来更新 Htime,N i,: 。最后进行一下归一化处理

Cross-Variable GNN

• Cross-Variable GNN 旨在提取由同质和异质关系组成的不变相关性

Heterogeneity Disentanglement. 分解同质、异质

• 【正邻居和负邻居】选择具有 Kvar + 最高相关权重的节点作为具有同质连接的正邻居，并将具有 Kvar - 相关性得分最低的节点作为具有异构连接的负邻居

Correlation Weight Re-normalization. 相关权重重新归一化

• 相应的同质和异质相关权重处理如下

  

  同质边的权重与相关性得分正相关： 意味着对于同质边，边的权重会随着节点之间的相关性得分增加而增加。换句话说，如果两个相似的节点之间有很强的关联，那么它们之间的同质边的权重会增加。

  异质边的权重与相关性得分负相关： 意味着对于异质边，边的权重会随着节点之间的相关性得分增加而减少。这可能是因为异质边连接了不同类型的节点，而这些节点之间的关系在相关性增加时反而变得不那么重要。

Cross-variable Interaction.

与Cross-scale interaction.同理

Direct Multi-step forecasting

• 两个 MLP 作为解码器
• 第一个MLP将特征的时间维度从C映射到1，而第二个MLP将时间维度从历史输入序列L’映射到输出序列长度。

实验部分

Ablation Study

• 移除Cross-Scale GNN 导致预测指标的下降最为显着，强调了其对不同尺度和时间点之间的交互进行建模的强大能力。
• 跨变量GNN也极大地提高了模型性能，证明了对不同变量之间复杂且动态的交互进行建模的重要性。
• AMSI不断提高预测精度，表明不同尺度的MTS包含丰富的交互信息

结论

• 提出了一种线性复杂度 CrossGNN 模型，这是第一个为 MTS 预测优化跨尺度和跨变量交互的 GNN 模型。
• 利用自适应多尺度标识符 (AMSI) 来获取输入 MTS 中噪声较少的多尺度时间序列
• Cross-Scale GNN 捕捉趋势更清晰、噪声更弱的尺度，而 Cross-Variable GNN 最大限度地利用了不同变量之间的同质性和异质性。
• 同时随着输入大小的增加保持线性内存占用和计算时间。
  00;">Cross-Scale GNN 捕捉趋势更清晰、噪声更弱的尺度，而 Cross-Variable GNN 最大限度地利用了不同变量之间的同质性和异质性。
• 同时随着输入大小的增加保持线性内存占用和计算时间。
• 对于未来的工作，值得探索动态图网络的设计