时序必读论文09｜ICLR24基于Transformer 自适应多尺度patch的时序预测模型

前言

这篇文章的思路就是：通过傅立叶变化，把时序数据自适应切分为最佳的、不同尺度的patch，然后设计patch内和patch间的注意力机制，进行下游任务。思路非常清晰简洁。

关于自适应尺度这样的学术词汇，我想通过举例子其实非常容易理解。以电影举例，有的电影情节冗长拖沓，我们就会快进，看电影的粒度和尺度就会更宽。而有的电影情节紧凑，我们会慢慢欣赏，看电影的粒度和尺度就很精细。自适应的意思就是根据电影情节密度自动帮你计算合适的快进步长。

如上图就是一个例子，左图：时间序列被划分为具有不同尺度的patch，作为时间分辨率。蓝色、橙色和红色的间隔代表不同的patch大小。右图：通过不同的时间距离建模局部细节（黑色箭头）和全局相关性（彩色箭头）。

本文工作

论文提出Pathformer模型，它整合了时序的resolution和distance，能够根据输入时间序列中不同的时序，动态调整多尺度建模过程，自适应的用不同尺度的patch分解时间序列。并在patch内和patch间设计了注意力机制，以捕获全局和局部的依赖关系，用于时间序列预测。提高了预测准确性和泛化性。对九个真实世界数据集的实验结果表明，Pathformer优于现有模型，展现出更强的泛化能力。