Autoformer: Decomposition Transformers withAuto-Correlation for Long-Term Series Forecasting

出自于 Advances in Neural Information Processing Systems 34 (NeurIPS 2021)

一篇很经典的论文，经常作为baseline

Abstract 

延长预测时间是极端天气预警和长期能源消耗规划等实际应用的关键需求。本文研究时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种 self-attention 机制来发现长期依赖关系。然而，长期未来的复杂时间模式使基于 Transformer 的模型无法找到可靠的依赖关系。此外，Transformers 必须采用稀疏版本的 point-wise self-attentions 以获得长序列效率，从而导致信息利用瓶颈。除了 Transformers，我们将 Autoformer 设计为一种具有自相关机制的新型分解架构。我们打破了序列分解的预处理惯例，并将其更新为深度模型的基本内部块。这种设计为 Autoformer 赋予了复杂时间序列的渐进分解能力。此外，受随机过程理论的启发，我们设计了基于序列周期性的自相关机制，在子序列级别进行依赖关系发现和表示聚合。自相关在效率和准确性方面都优于self-attention。在长期预测中，Autoformer 产生了最先进的准确性，在六个基准上相对提高了 38%，涵盖了五个实际应用：能源、交通、经济、天气和疾病。此存储库中提供了代码：https://github.com/thuml/Autoformer。
 

1.文章要解决的问题：长期时间序列预测（值得研究的方向）

长期时间序列预测问题：待预测的序列长度远远大于输入长度，即基于有限的信息预测更长远的未来。上述需求使得此预测问题极具挑战性，对于模型的预测能力及计算效率有着很强的要求。

以前的方法有什么问题？

之前基于Transformer的时间序列预测模型，通过自注意力机制（self-attention）来捕捉时刻间的依赖，在时序预测上取得了一些进展。但是在长期序列预测中，仍存在不足：

• 长序列中的复杂时间模式使得注意力机制难以发现可靠的时序依赖。

• 基于Transformer的模型不得不使用稀疏形式的注意力机制来应对二次复杂度的问题，但造成了信息利用的瓶颈。//logsparse attention工作

 

2.解决方法(贡献，创新点)：

  为突破上述问题，THUML（清华大学软件学院机器学习组）全面革新了Transformer，并提出了名为Autoformer的模型，主要包含以下创新

• 突破将序列分解作为预处理的传统方法，提出深度分解架构（Decomposition Architecture），能够从复杂时间模式中分解出可预测性更强的组分//针对之前注意力机制工作不能发现可靠的时序依赖

• 基于随机过程理论，提出自相关机制（Auto-Correlation Mechanism），代替点向连接的注意力机制，实现序列级（series-wise）连接和O(LlogL)复杂度，打破信息利用瓶颈//针对二次复杂度与信息利用的瓶颈不能兼而有之的问题

 在长期预测问题中，Autoformer在能源、交通、经济、气象、疾病五大时序领域大幅超越之前SOTA，实现38% 的相对效果提升。//果真吗？图1：自动变形器体系结构。该编码器通过序列分解块（蓝色块）消除了长期趋势循环部分，并专注于季节性模式建模。解码器逐步累积从隐藏变量中提取的趋势部分。从编码器中获得的过去的季节信息被编解码器自动相关（解码器中的中心绿色块）所利用。

深度分解架构（Deep Decomposition Architecture）

  时间序列分解是指将时间序列分解为几个组分，每个组分表示一类潜在的时间模式，如周期项（seasonal），趋势项（trend-cyclical）。由于预测问题中未来的不可知性，通常先对过去序列进行分解，再分别预测。但这会造成预测结果受限于分解效果，并且忽视了未来各个组分之间的相互作用。
  我们提出深度分解架构，将序列分解作为Autoformer的一个内部单元，嵌入到编-解码器中。在预测过程中，模型交替进行预测结果优化和序列分解，即从隐变量中逐步分离趋势项与周期项，实现渐进式分解。

 

自相关机制（Auto-correlation mechanism）

自相关是指信号在1个时刻的瞬时值与另1个时刻的瞬时值之间的依赖关系，是对1个随机信号的时域描述。

自相关（Autocorrelation），也叫序列相关，是一个信号与其自身在不同时间点的互相关。非正式地来说，自相关是对同一信号在不同时间的两次观察，通过对比来评判两者的相似程度。自相关函数就是信号x(t)和它的时移信号x(t-τ)的乘积平均值。它是时移变量τ的函数。
 

总结

本文研究时间序列的长期预测问题，这是现实世界应用的迫切需求。 然而，复杂的时间模式阻止了模型学习可靠的依赖关系。 我们通过将序列分解模块嵌入为内部算子，提出 Autoformer 作为分解架构，它可以逐步聚合来自中间预测的长期趋势部分。 此外，我们设计了一种高效的Auto-Correlation 机制来在序列级别进行依赖关系发现和信息聚合，这与之前的self-attention家族形成鲜明对比。 Autoformer 可以自然地实现 O(L log L) 复杂度，并在广泛的现实世界数据集中产生一致的最新性能。