读论文《用于多变量时间序列预测的多尺度自适应图神经网络》

原标题《Multi-Scale Adaptive Graph Neural Network for Multivariate Time Series Forecasting》

动机

现有的工作只考虑了单一时间尺度上的时间依赖关系，这可能不能很好地反映许多实际场景中的变化，如图在不同的时间尺度上能看到不同的周期
现有工作学习一个共享的邻接矩阵来表示变量间丰富的依赖关系，这使得模型有偏地学习一种突出的、共享的时间模式。
为解决上述的两个问题本文提出了Multiscale Adaptive Graph Neural Network (MAGNN)模型。

模型

模型的整体架构如下：

Multi-Scale Pyramid Network

这一步和之前看到的那篇多尺度时序预测差不多，每层降采样为原来的1/2倍。不过他这里采用了Inception的结构，右边是自定义超参的1维卷积，按作者所说模型对于超参会很敏感，在右边又加了一个1x1卷积+1x2池化，缓解这个情况提高泛化性。

Adaptive Graph Learning

在我看来，这一部分是文章的核心创新点，主要我一直都挺困惑像变量之间这种没有实在的东西要怎么建图，就文章来看已经有许多方法了，还是看的少了。该层的结构如下：

这一部分会对各个尺度构造关系图，但是直接计算的计算开销实在太大，作者利用矩阵分解的思想来简化计算。对于所有的尺度节点嵌入Enodes是共享的，而对于每一个尺度会有一个Escale的尺度嵌入，将这两个向量逐点相乘

这样就控制住了参数的数量，然后进行相似度计算：

最后为了节省图的计算开销，对矩阵进行稀疏化：

其中Sparse为：

Multi-Scale Temporal Graph Neural Network

这里他们仿照了之前的一个用AGL生成的矩阵及其转置用两个GNN同时捕获传入和传出的信息：

然后将计算出来的结果丢进TCN中：

Scale-Wise Fusion

作者没有采用直接拼接的方式，平等对待每个尺度的具体表示，忽略了对最终预测结果贡献的差异，因此作者对最后的结果进行了特殊的融合。作者首先对TCN的输出进行拼接然后在尺度维度上进行了池化：


然后将其投入到一个精练模块中，实际上是两个全连接层

α是不同尺度的重要性，最后进行加权聚合：