双变量空间自相关_DSANet:基于自双向注意力网络的多元时间序列预测模型-CSDN博客

题目：

DSANet: Dual Self-Attention Network for Multivariate Time

Series Forecasting

作者：

Siteng Huang，Donglin Wang∗，Xuehan Wu，Ao Tang

来源：

Machine Learning (cs.LG)

CIKM ’19, November 3–7, 2019, Beijing, China

文档链接：

https://kyonhuang.top/files/Huang-DSANet.pdf

代码链接：

https://github.com/bighuang624/DSANet

摘要

多元时间序列预测在系统、交通、金融等领域受到广泛关注。任务的难点在于传统的方法无法捕捉时间步长和多个时间序列之间复杂的非线性依赖关系。近年来，递归神经网络和注意机制被广泛应用于多时间步长的周期性时间模式的建模。然而，这些模型不适用于动态周期模式或非周期模式的时间序列。本文提出了一种双关注网络(DSANet)来进行高效的多变量时间序列预测，特别适用于动态周期或非周期序列。DSANet完全不需要递归，而是利用两个并行的卷积分量，即全局时域卷积和局部时域卷积，来捕获全局和局部时域模式的复杂混合。此外，DSANet还使用了一个自我关注模块来对多个系列之间的依赖关系进行建模。为了进一步提高鲁棒性，DSANet还集成了一个与非线性神经网络并行的传统自回归线性模型。对真实世界多变量时间序列数据的实验表明，该模型是有效的，性能优于基线。

英文原文

Multivariate time series forecasting has attracted wide attention in areas, such as system, traffic, and finance. The difficulty of the task lies in that traditional methods fail to capture complicated nonlinear dependencies between time steps and between multiple time series. Recently, recurrent neural network and attention mechanism have been used to model periodic temporal patterns across multiple time steps. However, these models fit not well for time series with dynamic-period patterns or nonperiodic patterns. In this paper, we propose a dual self-attention network (DSANet) for highly efficient multivariate time series forecasting, especially for dynamic-period or nonperiodic series. DSANet completely dispenses with recurrence and utilizes two parallel convolutional components, called global temporal convolution and local temporal convolution, to capture complex mixtures of global and local temporal patterns. Moreover, DSANet employs a self-attention module to model dependencies between multiple series. To further improve the robustness, DSANet also integrates a traditional autoregressive linear model in parallel to the non-linear neural network. Experiments on realworld multivariate time series data show that the proposed model is effective and outperforms baselines.

要点

为了对多元时间序列进行准确、稳健的预测，我们提出了一种双自注意网络(DSANet)，用于在没有外生信息的情况下进行高效的多元时间序列预测。在DSANet中，我们首先将每个单变量时间序列独立地注入两个并行的卷积分量，分别称为全局时域卷积和局部时域卷积，从而对全局和局部时域模式的复杂混合进行建模。接下来，将每个卷积组件的学习时间序列表示输入到一个单独的自我注意模块中，目的是学习不同序列之间的依赖关系。为了进一步提高鲁棒性，将自回归线性模型与DSANet的非线性注意网络并行集成。

相关工作(基线方法)

1.统计线性方法：向量自回归(VAR)模型

2.非线性关系方法：LRidge、LSVR[和Gaussian process (GP)。

3.神经网络模型：LSTM或GRU的递归神经网络，递归跳跃层(LSTNet-S)、时间注意层(LSTNet-A)，时间模式注意机制(TPA)。

模型结构图

图1概述了我们提出的DSANet。DSANet利用两个卷积结构，即全局时域卷积和局部时域卷积，将X中的每个单变量序列嵌入到两个具有不同尺度时间信息的表示向量中。