Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

摘要

许多实际应用需要对长序列时间序列进行预测，例如耗电量计划。 长序列时间序列预测（LSTF）需要模型的高预测能力，即高效精确地捕获输出和输入之间的长期依赖关系的能力。 最近的研究表明，Transformer具有提高预测能力的潜力。

但是，Transformer有几个严重的问题，使其无法直接应用于LSTF，包括二次时间复杂度，高内存使用率，以及编码器-解码器体系结构的局限性。

为了解决这些问题，我们为LSTF设计了一个有效的基于Transformer的模型，称为Informer，具有三个独特的特征：

（i）ProbSparse自注意力机制，该机制在时间复杂度和内存上达到O（Llog L） 用法，并且在序列的依存关系对齐方面具有可比的性能。 

（ii）自我注意蒸馏通过将级联层输入减半而突出了注意注意力，并有效地处理了极长的输入序列。 

（iii）生成样式解码器虽然在概念上很简单，但它会以一种前向操作而不是循序渐进的方式预测较长的时间序列序列，从而大大提高了较长序列预测的推理速度。 在四个大型数据集上进行的大量实验表明，Informer明显优于现有方法，并为LSTF问题提供了新的解决方案。

Introduction

时间序列预测是许多领域的重要组成部分，例如传感器网络监控，能源和智能电网管理，经济和金融以及疾病传播分析。 在这些情景中，我们可以利用大量有关过去行为的时间序列数据来进行长期预测，即长序列时间序列预测（LSTF）。 然而，现