ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generativ

ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models (Paper reading)

Tijin Yan, Beijing Institute of Technology, arXiv2021,Cited:10, Code, Paper

1. 前言

多变量时间序列预测因其智能交通、AIOps等广泛应用而备受关注。生成模型在时间序列建模方面取得了令人印象深刻的结果，因为它们可以对数据分布进行建模并考虑噪声。然而，由于生成模型的功能形式的限制或对超参数的敏感性，许多现有的作品不能被广泛使用。在本文中，我们提出了 ScoreGrad，这是一种基于连续基于能量的生成模型的多元概率时间序列预测框架。ScoreGrad由时间序列特征提取模块和基于条件随机微分方程的分数匹配模块组成。预测可以通过迭代求解逆时 SDE 来实现。据我们所知，ScoreGrad 是第一个用于时间序列预测的连续基于能量的生成模型。此外，ScoreGrad 在六个真实世界的数据集上取得了最先进的结果。此外我们还探讨了超参数和采样器类型对性能的影响。

2. 方法

ScoreGrad的总体框架如图2所示。实际上，该框架可以在每个时间步分为两个模块:时间序列特征提取模块和基于条件SDE的分数匹配模块。这两个模块的详细介绍如下:
时间序列特征提取模块：该模块旨在获取历史时间序列数据的特征$F_t$，直到时间$t-1$，并针对不同的时间步长更新$F_t$。$F_t$的更新函数$R$可以定义为:
$$F_t=R(F_{t-1},x_{t-1},c_{t-1})$$
这是一个通用框架，这里可以使用许多序列建模方法。例如，如果使用 RNN、GRU 等循环神经网络，$F_t$ 对应于隐藏状态 $h_{t-1}$。对于其他顺序建模方法，如时间卷积网络(TCN)、基于注意力的网络，Ft是一个向量，表示通过历史数据和协变量学习的特征。
基于条件SDE的分数匹配模块: 条件分数网络被设计为具有8个残差块，单个块的结构如图3所示。条件分数网络的输入包括特征$F_t$，输入状$x_t^{ts}$和对应的时间$t_s$。$x_t^{ts}$用滤波器大小为1和3的1D CNN进行变换。$t_s$的嵌入模块为随机傅立叶特征嵌入。$F_t$用作分数网络的调节器。输入和时间嵌入的隐藏表示的和被发送到双向扩展卷积块。然后，将调节器的隐藏表示和扩张卷积块的输出之和发送到门控激活单元。然后输出的一部分用作块的输出，另一部分与跳跃连接输入相加，然后用作下一块的输入。最后，对所有块的输出进行求和，并用1D CNN进行变换以获得最终输出。

3. 实验

在实验中，Exchange、Solar、Electricity、Traffic、Taxi和Wikipedia被用于评估。数据集的详细属性见表II。假设在训练时间序列模型时可以捕获描述类别内关系的类别特征的嵌入。预处理过程与[39]中的过程完全相同。为了消除数据值对ScoreGrad性能的影响，我们在向模型提供数据之前，将每个时间序列除以其上下文窗口均值。在采样过程中，样本会被重新缩放到原始比例。对于协变量$c_t$，使用了时间相关嵌入（例如，一天中的小时、一周中的某一天）和时间无关嵌入，例如取决于数据集的时间频率的滞后特征。此外，应该注意的是，对于我们想要预测的所有时期，所有协变量都是已知的。

如图5所示，以Traffic测试集的前6个通道为例，使用基于VP SDE的ScoreGrad进行多变量时间序列预测。蓝线和绿线表示观测值和中位数预测。根据VP SDE，绿色区域覆盖了50%和90%的分布区间。很明显，大多数观测值都在50%的分布区间内。此外，观测值很小，不同通道的数值范围可能相差很大。因此，通过除以上下文窗口均值来缩放所有值对于模型训练是必要的。

当我们绘制基于ScoreGrad的预测值时，我们发现一些通道的值不遵循历史模式。例如，图8显示了基于ScoreGrad的简单电通道的预测区间。很明显，这些数据具有周期性。然而，在9月1日，数值突然下降。出现这种现象的可能性有很多，比如节假日和工作日的模式不同，局部地区停电等。在任何情况下都要进行实时监控，保证服务的可靠性。