[论文阅读]SageFormer

1. 简介

 多变量之间的关系是可以带来信息增益的，问题在于如何学习到各个变量的关系，将其有效的引入模型中，同时又能避免冗余的信息干扰模型训练过程。

SageFormer解决了两个关键挑战：有效地表示系列中的不同时间模式并减轻序列之间的冗余信息。重要的是，所提出的系列感知框架与现有的基于Transformer的模型可以无缝集成，增强了它们对系列间依赖关系建模的能力。

2. 模型

为了解决多变量关系建模的问题，清华大学提出了SageFormer，是一种全新的建模多变量时间序列关系方法。如下图中的b和c所示，b是一般的多变量联合建模方式，将多变量每个时间步的信息融合到一起输入到一个Transformer中；c则是完全不考虑多变量间关系，每个序列独立的输入到Transformer中。而本文提出的方法，为每个序列前加入一个全局token，用来提取各个变量序列自身的信息，然后利用图学习的方式进行多变量关系的抽取。

 详细的模型结构主要包括3个部分：全局token、动态图学习、时空网络。输入序列采用PatchTST的方式处理成多个patch，在每个变量序列前方添加多个全局token，这些token用来提取每个序列的全局信息。同时，利用每个序列随机初始化的embedding端到端学习各个变量之间的图结构。最后，在时空网络部分，使用图学习根据学到的图结构，对全局token的表征进行空间上的汇聚，汇聚得到的结果过一次时序维度上的Transformer产出最终的编码，其中时空网络部分会迭代多次，每次是一层图汇聚加上一层时间维度Transformer。

 

通过本文的这种方式，多变量的每个序列主体仍然是单独过Transformer建模的，但是增加了一路学习序列间关系的分支，利用全局token提取每个序列的表征进行信息交互。这样将时间维度和空间维度分拆开，相比原来直接多变量融合到一起输入模型，更清晰的独立建模了每个变量的时序信息和多个变量的空间交互信息。

SageFormer整体的工作流程如下：

3. 实验 

文中对比了各类模型在多个数据集中的效果，对比模型包括Transformer单变量预测模型，如AutoFormer、Informer等，也包括一些时空预测模型，如MTGNN。实验结果表明，本文提出的方法在多元时间序列预测任务中效果显著。