2、Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting

简介

论文地址：http://proceedings.mlr.press/v139/rasul21a/rasul21a.pdf

多元概率时间序列预测的自回归去噪扩散模型。提出了自回归EBMs（基于能量的模型），通过一个称为TimeGrad的模型来解决多元概率时间序列预测问题，利用RNN+扩散模型结合捕获时间序列特征。不仅能够用概率时间序列预测的所有归纳偏差来训练这样一个模型，而且与其他现代方法相比，该模型表现得非常好。

使用的协变量 $c_t$ 由时间相关的（例如，一周中的一天、一天中的一小时）和时间无关的嵌入（如果适用）以及滞后特征组成，这取决于我们正在培训的数据集的时间频率。因此，对于我们希望预测的时期，所有协变量都是已知的。

实现流程

在这里不直接用前 t-1 个点预测 t 时间的点，而是结合diffusion model去预测，如下图所示。首先用前 t-1 个时间点 $X_{1:t-1}^0$ 和协方差 $c_t$ 通过RNN得到 $h_{t-1}$ ，再把 $h_{t-1}$ 和 $X_t$ 作为diffusion的输入(diffusion的神经网络是一个wavenet)，预测噪声。

利用 LSTM 或GRU通过更新的隐藏状态 $h_t$ 对时间点 t 之前的时间序列进行编码，给定协变量 $c_t$ 的条件下

其中 $RN{N}_{\theta }$ 是由共享权值 θ 和 $h_0=0$ 参数化的多层LSTM或GRU。因此，可以用模型来近似

也就是

训练时通过从训练时间序列数据中随机采样上下文和相邻的预测大小窗口，并优化参数 θ，使模型的负对数似然最小化(10):

从所选上下文窗口上运行RNN获得的隐藏状态 $h_{t_0-1}$开始，得到时间步长 t 和噪声指数 n的目标的条件变量由以下(7)的简化给出

当选择方差为 ${\sum }_{\theta }=\widetilde{{\beta }_n}$时，此时 ${ϵ}_{\theta }$ 网络也以隐藏状态为条件。

实验

用Traffic数据集展示预测效果，traffic有6个维度，分别展示了预测结果

消融实验

正向过程的长度N是一个关键的超参数，因为更大的N允许反向过程近似高斯，这有助于高斯参数化更好地近似它。N的大小决定了最后的实验结果，设置了不同的N的结果如上图所示。N=100时，基本不会在下降了。