【论文阅读】Informer:Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
原文:https://arxiv.org/abs/2012.07436
code(pytorch实现):https://github.com/zhouhaoyi/Informer2020
贡献
- The quadratic computation of self-attention 解决自注意力二次计算
- The memory bottleneck in stacking layers for long inputs 解决长序列的内存瓶颈
- The speed plunge in predicting long outputs 解决长序列的速度瓶颈
总之,提出ProbSparse self-attention,实现transformer在长时序的应用,以及改进一些性能问题。
informer整体结构
整体为encoder-decoder模型:
- 左侧为encoder部分
- 右侧为decoder部分
问题定义
LSTF问题:在滑动窗口固定的情况下,已知Xt预测Yt。