代码可复现 | 2024时间序列领域相关顶会

首个全开源时间序列预测基础模型Moirai发布，它是一种通用的预测范式，让预训练模型可以处理任意时序预测任务。在零样本预测中，Moirai的性能媲美甚至超越了SOTA。

MOIRAI的整体架构

不仅仅是Moirai，谷歌的TimesFM、亚马逊的Chronos等都达成了时间序列领域的革命性突破。

作为学术研究的热门方向，时间序列不仅可以提高预测模型的性能，还能精确预测未来趋势和模式，特别适用于数据点之间存在时间依赖关系的情况，比如股票市场预测、气象预报等。因此在学术界与工业界都有广泛应用，研究成果丰富且多样。

对于时间序列领域想发论文的同学来说，学习这些优秀成果尤为必要。本文盘点了时间序列领域2024最新顶会论文，共19篇，代码可复现，篇幅原因只做部分介绍，希望能给各位带来一些启发。

• Transformer：1篇

• 图神经网络：1篇

• 扩散模型：1篇

• 预训练与表示：3篇

• 长时序预测：4篇

• 多元时序与多实例学习：4篇

• 因果发现：1篇

• 基础模型：1篇

• 其他：3篇

论文原文以及开源代码需要的同学看文末

Transformer

【ICML2024】Unlocking the Potential of Transformers in Time Series Forecasting with Sharpness-Aware Minimization and Channel-Wise Attention

方法：论文基于Transformer的多元时间序列预测问题，发现传统的Transformer模型在这个任务上表现较差，并提出了一种新的浅层Transformer模型（SAMformer），通过引入锐度感知优化方法，使得模型能够更好地泛化。

创新点：

• 作者发现传统的Transformer模型在多变量长期预测中表现不佳，无法收敛到最佳解，尽管它们具有高度表达能力。作者进一步确定了Transformer的注意力机制是造成这种低泛化能力的主要原因。

• 作者提出了一种浅层轻量级的Transformer模型，称为SAMformer，它成功地摆脱了训练中的不良局部最小值，通过锐度感知优化实现更好的泛化性能。作者在常见的多变量长期预测数据集上经验性地证明了我们方法的优越性。SAMformer在平均值上比当前最先进的多变量模型TSMixer提高了14.33%，同时参数数量约为TSMixer的4倍。

图神经网络

【ICLR2024】BIASED TEMPORAL CONVOLUTION GRAPH NETWORK FOR TIME SERIES FORECASTING WITH MISSING VALUE

方法：论文提出一种用于处理带有缺失值的时间序列预测的方法——BiTGraph，通过结合时空动态性和空间结构，通过两个精心设计的模块（Multi-Scale Instance PartialTCN和Biased GCN）来处理缺失值。

创新点：

• 提出了BiTGraph模型，用于处理具有缺失值的多变量时间序列预测。该模型能够同时捕捉时间动态和空间结构，并且明确考虑了缺失值的影响。在五个真实世界基准数据集上的实验结果验证了该模型在各种缺失值情况下的优越性。

• 引入了Multi-Scale Instance PartialTCN来有效地建模由于缺失值而破坏的时间依赖性，并提出了Biased GCN来通过构建有偏差的图形来在实例之间传播信息，以一种考虑缺失值的方式。

基础模型

【ICML2024】MOMENT: A Family of Open Time-series Foundation Models

方法：作者引入了MOMENT，这是一个开源的通用时间序列分析基础模型系列。MOMENT通过在大量来自不同领域的时间序列数据上进行掩码序列预测任务的预训练来解决时间序列预训练的挑战，并通过针对多个任务和数据集的评估来构建实验基准。

创新点：

• 通过编译大量公开可用的数据集构建了Time Series Pile，这是一个包含来自不同领域的多个时间序列数据库的大型数据集，为预训练提供了丰富的数据资源。

• 针对时间序列数据的特点，设计了一种基于transformer和patching的时间序列建模方法，通过将时间序列划分为子序列并以子序列为输入，实现了有效的时间序列表示学习和预测能力。

• 提出了使用掩码表示学习的方法进行预训练，可以在没有标签的情况下学习时间序列的重建能力，并且通过fine-tuning进一步优化模型性能，实现了多个时间序列分析任务的端到端解决方案。

因果发现

【AAAI2024】CUTS+: High-dimensional Causal Discovery from Irregular Time-series

方法：本文主要介绍了一种处理高维时间序列数据的Granger因果关系发现方法CUTS+。该方法通过引入粗粒度到细粒度的发现（C2FD）来解决大CPG问题，并设计了一种基于消息传递的图神经网络（MPGNN）来解决冗余网络参数问题。

创新点：

• 引入C2FD和MPGNN两种新技术，将它们应用于因果推断中。

• 在因果推断中添加C2FD技术，通过将其与原始CUTS结合得到“CUTS with C2FD”来定量验证C2FD的性能提升。

• 处理不规则时间序列的插值。通过在预测阶段进行并发数据插值来处理不规则时间序列。

• 可扩展/高维因果推断。在将因果推断算法应用于真实数据时，可扩展性可能是一个严重的问题。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“时序新顶会”获取全部论文+代码

码字不易，欢迎大家点赞评论收藏