Do We Really Need Deep Learning Models for Time Series Forecasting？笔记

Do We Really Need Deep Learning Models for Time Series Forecasting？笔记

来源：[2101.02118] Do We Really Need Deep Learning Models for Time Series Forecasting? (arxiv.org)

年份： 2022

代码：GitHub - Daniela-Shereen/GBRT-for-TSF

论文解读

简述：

时间序列预测是机器学习的至关重要任务，现如今很多深度学习模型都在该方面的任务中取得了很好的成绩，但是基于深度学习所建立的模型往往比较复杂，难以训练。在本文中，作者将梯度增强回归树（GBRT）模型与著名深度学习模型进行比较。与深度神经网络（DNN）模型类似，作者将时间序列预测任务转换为基于窗口的回归问题。设计了GBRT模型的输入和输出结构，对于每个训练窗口，目标值与外部特征串联，然后展平以形成一个输入实例，以用于多出口GBRT模型。作者对九个数据集进行了比较研究，对比了过去几年在顶级会议上提出的八个最先进的深度学习模型。结果表明，基于窗口的输入转换将简单的GBRT模型的性能提高到与这些DNN模型相当。

研究问题：

a. 对于用于时间序列预测的基于窗口的学习框架来说，精心配置 GBRT 模型的输入和输出结构有什么效果？

b. 一个虽简单但配置良好的 GBRT 模型与 SOTA 深度学习时间序列预测框架相比如何？

​ 研究者选择了双重实验设置，分别解决两类预测任务，即系统化方式中的单变量和多变量预测。目的是评估 GBRT 模型以及在顶会（NeurIPS、KDD、SIGIR、ECML、ICML、CIKM、IJCAI、ICLR 等）中出现的 SOTA 深度学习方法。

整体贡献：

一，研究者将一个简单的机器学习方法 GBRT 提升了竞品 DNN 时间序列预测模型的标准。首先将 GBRT 转换成一个基于窗口的回归框架，接着对它的输入和输出结构进行特征工程，如此便能从额外上下文信息中获益最多；

二，为了突出输入处理对时间序列预测模型的重要性，研究者通过实证证明了为什么基于窗口的 GBRT 输入设置可以在时间序列预测领域提高 ARIMA 和原版 GBRT 等精心配置的模型所产生的预测性能；

三，研究者比较了 GBRT 与各种 SOTA 深度学习时间序列预测模型的性能，并验证了它在单变量和双变量时间序列预测任务中的竞争力。

基于窗口输入的GBRT模型：

GBRT 模型，特别是 XGBoost 实现，其优点是易于应用，而且在结构化数据上特别成功。但是当涉及时间序列预测的初始（naive）实现时，GBRT 模型失去了很大一部分灵活性，因为它们没有被投射到基于窗口的回归问题中，而是被配置为适合大部分时间序列作为完整且连续的数据点序列来预测时间序列的后续和剩余测试部分。

与上述初始实现不同，该研究通过将时间序列重新配置为窗口输入，并在多个训练实例（窗口）上进行训练，以模拟成功的时间序列预测模型中使用的输入处理行为，为此该研究定义了一个可调窗口。如下图：

​ 第一步是使用变换函数，将典型的 2D 训练实例（时间序列输入窗口）变换为适合 GBRT 的 1D 形状向量（扁平窗口）。该函数将所有 w 实例的目标值 y_i 连接起来，然后将最后一个时间点实例 t 的协变量向量附加到输入窗口 w 中。

​ 基于窗口的 GBRT 输入设置极大地提高了其预测性能，因为 GBRT 模型现在能够掌握数据的底层时间序列结构，并且现在可以被认为是先进 DNN 时间序列预测模型的适当机器学习基线。另一方面，简单配置的 GBRT 模型，将时间点的协变量作为输入，预测单一目标值 Y_i、j 为同一时间点训练损失如下：

实验结果

对比模型：

1. Temporal Regularized Matrix Factorization (TRMF)

2. Long- and Short-term Time-series Network (LSTNet)

3. Dual-Stage Attention-Based RNN (DARNN)

4. Deep Global Local Forecaster (DeepGlo)

5. Temporal Fusion Transformer (TFT)

6. DeepAR model

7. Deep State Space Model (DeepState)

8. Deep Air Quality Forecasting Framework (DAQFF)

数据集：

​ 单变量时间序列数据集

结果：

​ 下表 2 总体结果表明，除了 traffic 预测外，基于窗口的 GBRT 具有较强的竞争力。另一方面，具有传统配置的预测模型（例如 ARIMA 和 GBRT（Naive））的表现远远优于预期。

​

和LSTNet的单独比较：

TFT的结果优于GBRT：