文章探讨了Transformer模型在时间序列预测领域的最新进展，介绍了几种创新的变体，如Pathformer的自适应多尺度建模、iTransformer的独立变量处理、ScaleFormer的多尺度改进和InParformer的交互并行注意力。这些模型旨在解决时间序列预测中的独特挑战，提升预测精度和效率。
目前，以CNN、RNN和 Transformer 模型为代表的深度学习算法已经超越了传统机器学习算法，成为了时间序列预测领域一个新的研究趋向。这其中，基于Transformer架构的模型在时间序列预测中取得了丰硕的成果。
Transformer模型因其强大的序列建模能力，很适合时间序列这种也是序列类型的数据结构。但与文本序列相比，时间序列具有很多独特的特征，比如自相关性、周期性以及长周期性预测，这些特性给Transformer在时间序列预测场景中的应用带来了新的挑战。
为了克服这些挑战，满足预测任务的高效率和高精度需求，研究者对原始的Transformer结构进行了改造，比如无需修改任何模块，即在复杂时序预测任务中取得全面领先的iTransformer。
本文介绍12种用于时间序列预测的Transformer变体，包含今年最新的成果，每种模型原文与源码都整理了，希望可以为同学们提供新的思路和方法。
论文原文以及开源代码需要的同学看文末
Pathformer
Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting
方法：论文提出了一种自适应多尺度建模方法，即基于多尺度Transformer的自适应路径模型。该模型包含两个主要组件：多尺度路由器和多尺度聚合器。多尺度路由器根据输入数据选择特定大小的分块划分，并通过激活Transformer中的特定部
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
