模型实践｜ Informer 上手实践

实验｜Vachel       算力支持｜幻方AIHPC 

 长时间序列预测（Long Sequence Time-Series Forecasting，以下称为 LSTF）在现实世界中是比较基础但又十分重要的研究场景，例如商品销量及库存的预测、电力消耗的规划、股票价格、疾病传播与扩散等实际问题。然而LSTF因为其历史数据量大、计算复杂性高、预测精度要求高，一直以来并没有取得太好的效果。

今年人工智能顶级大会AAAI的最佳论文奖项中有一篇来自北京航空航天大学：Informer，其主要的工作是改造 Transfomer 算法来实现LSTF，并开源了代码与数据。笔者最近在幻方AI的萤火平台上尝试复现了该论文的实验，为大家带来第一手的测试体验。（原文链接见文末附录）

---

模型介绍

近年来的研究表明，Transformer具有提高预测能力的潜力。然而，Transformer也存在几个问题，使其不能直接适用于LSTF问题，例如时间复杂度、高内存使用和“编码-解码”体系结构的固有局限性。为了解决这些问题，作者基于Transformer设计了一种适用于LSTF问题的模型，即Informer模型，该模型具有三个显著特征:

1. ProbSpare self-attention机制，有效降低了时间复杂度和内存使用量。

2. 通过将级联层输入减半来突出Self-attention中的主导因子，有效地处理过长的输入序列。

3. 对长时间序列进行一次预