Informer论文思维导图

Informer

Abatract:指出Transormer问题

高内存占用率

高时间复杂度

长序列预测难

Introduction

课题应用背景

时间序列预测是很多应用领域的重要成分，比如传感器网络检测，能源与智能网格管理系统，经济与财政以及灾难防御分析。

传统模型存在问题

现存模型应对长时间序列预测能力差，如LSTM在超出48时间步长后预测能力变差

Transormer优缺点

优势

相比传统模型，其注意力机制的引入使序列中点到点最大距离最大，有效梯度保留越多，传递更加准确

具有并行性，符合现有GPU框架，速率提高

不足

self-attention高时间复杂度为平方级

编码器解码器堆叠结构造成模型体积大，产生内存瓶颈

与传统RNN相同，解码器使用step-by-step方式解码，解码速度慢

我的改进

提出的ProbSparse self-attention机制去高效的替换self-attention，这实现了O(LlogL)的时间复杂度

针对编码器-解码器堆叠问题，采用蒸馏操作，降低模型空间复杂度

提出了生成式解码器，只需要一个前向步骤就能获得长时间的输出，同时避免了推理阶段的累积错误传播。

Methodology方法理论验证与推导：全是公式

模型搭建

编码器

解码器

Experiment

实验环境

python 3.6，pytorch 1.8.0，Windows 10，i5－6300H CPU ，NVIDIA GeForce 960M 显卡．

数据集

两个真实数据集，两个基准数据集

数据预处理

归一化标准化

实验过程

调整参数：batch-size=8,heads=8,dim=64最优

评价指标

MSE和MAE

实验结果分析

消融实验，对比ARIMA，Prophet，LSTMA，LST-NET发现较其都有提高