Make Transformer Great Again——时间序列预测器PRformer 拉爆8个时序预测数据集

github地址:https://github.com/usualheart/PRformer
论文地址：https://arxiv.org/abs/2408.10483
论文题目： PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting

长期以来，时间序列预测领域Transformer被基于MLP的线性模型所压制。PRformer，创造性地提出Pyramid RNN embeddings(PRE)，大幅提升Transformer时序预测器的性能至SOTA级别。让Transformer在时间序列预测任务上 Great Again !

Introduction

论文提出Pyramid RNN embeddings(PRE)模块，PRE由特征金字塔和多尺度RNN组成，学习单变量时间序列的嵌入表示。PRE能够代替位置编码，大幅提升现有Transformer时序预测器的性能。

在8个真实时间序列数据集上达到了SOTA性能，同时大幅领先线性模型预测器。

得益于PRE，PRformer时空复杂度随序列长度线性增长。

相比现有Transformer SOTA基线PatchTST，PRformer的运行时间和内存占用显著降低。