TFB：全面与公平的时间序列预测方法基准测试

最新推荐文章于 2025-04-26 14:27:08 发布

程序猿李巡天

最新推荐文章于 2025-04-26 14:27:08 发布

阅读量1.1k

点赞数 9

文章标签： android 语言模型人工智能自然语言处理 prompt

本文链接：https://blog.csdn.net/m0_59235945/article/details/143192551

版权

Content

时间序列预测在经济、交通、健康和能源等多个领域都有重要应用。随着预测方法的不断涌现，能够全面、可靠地比较这些方法变得尤为重要。为此，作者提出了一个自动化的时间序列预测（TSF）基准测试——TFB。TFB通过解决数据集、比较方法和评估流程方面的不足，推动了技术的发展。具体来说，TFB包括了来自10个不同领域的数据集，涵盖了交通、电力、能源、环境、自然、经济、股票市场、银行、健康和网络等领域。此外，TFB还提供了时间序列的特征描述，以确保所选数据集的全面性。为了消除对某些方法的偏见，TFB包含了多种方法，包括统计学习、机器学习和深度学习方法，并支持多种评估策略和指标。TFB还具有灵活且可扩展的流程，以消除偏见。作者使用TFB对21种单变量时间序列预测（UTSF）方法和14种多变量时间序列预测（MTSF）方法进行了全面评估。结果提供了对预测方法的深入理解，有助于更好地选择适合特定数据集和设置的方法。

1. 引言：

随着数字化的不断深入，时间序列在各种领域中产生，如经济、交通、健康、能源和AI运维。时间序列预测（TSF）在这些领域的关键应用中至关重要。鉴于历史观测值，能够提前知道未来的值是非常宝贵的。因此，TSF已经成为一个活跃的研究领域，提出了许多方法。时间序列根据每个数据点中的变量数量，可以是单变量或多变量。相应地，TSF方法可以被分类为UTSF或MTSF方法。早期的方法，如自回归积分滑动平均（ARIMA）和向量自回归（VAR）分别是最受欢迎的单变量和多变量预测方法。随后，利用机器学习的方法，例如XGBoost和随机森林提供了比早期方法更好的性能。最近，基于深度学习的方法在各种数据集上展示了最先进的预测性能。随着越来越多的方法被提出，对不同数据集和设置进行公平和全面的实证评估的需求不断增加。为了实现这一点，作者识别并解决了现有评估框架中的三个问题，从而提高了评估能力。

2. 相关工作：

作者首先回顾了TSF的方法，然后回顾了现有的基准测试提议。TSF的现有方法可以分为三类：统计学习、机器学习和深度学习方法。早期的提议主要采用统计学习方法，如ARIMA、ETS、Theta、VAR和卡尔曼滤波（KF）。随着机器学习技术的快速发展，出现了机器学习方法，如XGBoost、GBRT、随机森林和LightGBM。这些方法灵活地处理不同类型的时间序列，并通常提供比传统方法更好的预测准确性。利用深度神经网络（DNN）在丰富数据上的表示学习能力，提出了许多深度学习方法。在许多情况下，这些方法在预测准确性方面优于传统技术。此外，作者还讨论了几个基准测试，如Libra、BasicTS、BasicTS+、Monash、M3、M4、LTSF-Linear和TSlib，但这些基准测试在不同方面存在不足。

3. TFB基准测试细节：

作者详细介绍了TFB的设计，包括数据集、支持的方法、评估策略和指标以及完整的基准测试流程。TFB配备了25个多变量和8068个单变量数据集，具有一致的格式、广泛的领域和特征覆盖。数据集的选择反映了真实世界时间序列的复杂性。作者还讨论了数据集的全面性，并通过PCA技术展示了数据集在趋势、季节性、平稳性、偏移和转换等特征上的分布。

3.1 数据集（Datasets）

作者首先介绍了TFB中包含的数据集。数据集是基准测试的核心，它们需要能够全面覆盖不同的应用领域和时间序列特征。TFB收集了来自10个不同领域的数据集，包括交通、电力、能源、环境、自然、经济、股票市场、银行、健康和网络。这些数据集经过了细致的筛选和处理，以确保它们能够代表真实世界时间序列的多样性。

单变量时间序列：作者从16个开源数据集中筛选出8068个单变量时间序列。为了确保这些时间序列能够反映真实世界时间序列的复杂性，作者采用了主成分分析（PCA）技术来评估和选择数据集。多变量时间序列：TFB包括25个多变量时间序列数据集，覆盖了不同的频率、特征维度和序列长度。这些数据集的选择旨在全面研究预测方法。

3.2 比较方法（Comparison Methods）

TFB支持多种时间序列预测方法，包括统计学习、机器学习和深度学习方法。这些方法覆盖了从传统到最新的技术，包括但不限于ARIMA、VAR、XGBoost、随机森林、TCN、DeepAR、Informer等。作者强调了评估不同方法的重要性，以确保基准测试的全面性。

3.3 评估设置（Evaluation Settings）

评估策略：TFB实现了两种评估策略，即固定预测和滚动预测。固定预测是在给定的时间序列长度下，预测未来的固定步数；而滚动预测则是在每次迭代中，历史数据会扩展一定步数，然后进行预测。评估指标：为了全面评估预测性能，TFB采用了多种误差指标，包括平均绝对误差（MAE）、均方误差（MSE）、对称平均绝对百分比误差（SMAPE）、均方根误差（RMSE）等。

3.4 统一流程（Unified Pipeline）

作者提出了一个统一的基准测试流程，该流程包括数据层、方法层、评估层和报告层。

数据层：负责管理和存储不同来源的时间序列数据。
方法层：支持集成各种预测方法，包括统计学习、机器学习和深度学习方法。
评估层：提供支持多种评估策略和指标的评估框架。
报告层：包括日志系统和可视化模块，用于跟踪实验信息和展示方法性能。

整个流程旨在确保评估的一致性和可追溯性，同时提供灵活性和可扩展性，以适应不同的评估需求。

4. 实验：

作者报告了在所有数据集上对14种多变量和22种单变量预测方法进行的实验。实验采用了TFB定义的评估策略，并进行了全面的超参数选择，以确保方法的性能结果接近或超过原始论文中报告的性能。实验结果提供了对不同方法在不同数据集上的性能的深入理解。

4.1 实验设置（Experimental Setup）

数据集和比较方法：实验涵盖了TFB中的所有数据集和在第4章中提到的22种单变量预测方法和14种多变量预测方法。

实现细节：对于多变量预测，作者采用了滚动预测策略，并测试了不同的预测范围和回顾窗口大小。对于单变量预测，作者采用了固定预测策略，并保持了与M4竞赛一致的设置。实验中对每种方法都进行了全面的超参数选择，以确保其性能接近或超过原始论文中报告的结果。

4.2 实验结果（Experimental Results）

单变量时间序列预测：作者展示了单变量预测方法在不同指标下的平均结果，并分析了不同方法的优势和局限性。

多变量时间序列预测：由于结果数量较多，作者将结果分为两个表格进行展示。表格中按照趋势特征的强弱对数据集进行了排序，并报告了不同预测范围下的MAE和MSE。

4.3 方法设计提示（Hints to Method Design）

Transformers与线性方法：作者比较了基于Transformer的方法和线性方法在不同数据特征上的表现，并讨论了它们各自的优势。

通道独立性与依赖性：在多变量时间序列中，作者探讨了考虑变量间依赖性的重要性，并比较了考虑通道依赖性的方法与假设通道独立性的方法的性能差异。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述