Informer Abatract:指出Transormer问题 高内存占用率 高时间复杂度 长序列预测难 Introduction 课题应用背景 时间序列预测是很多应用领域的重要成分,比如传感器网络检测,能源与智能网格管理系统,经济与财政以及灾难防御分析。 传统模型存在问题 现存模型应对长时间序列预测能力差,如LSTM在超出48时间步长后预测能力变差 Transormer优缺点 优势 相比传统模型,其注意力机制的引入使序列中点到点最大距离最大,有效梯度保留越多,传递更加准确 具有并行性,符合现有GPU框架,速率提高 不足 self-attention高时间复杂度为平方级 编码器解码器堆叠结构造成模型体积大,产生内存瓶颈 与传统RNN相同,解码器使用step-by-step方式解码,解码速度慢 我的改进 提出的ProbSparse self-attention机制去高效的替换self-attention,这实现了O(LlogL)的时间复杂度 针对编码器-解码器堆叠问题,采用蒸馏操作,降低模型空间复杂度 提出了生成式解码器,只需要一个前向步骤就能获得长时间的输出,同时避免了推理阶段的累积错误传播。 Methodology方法理论验证与推导:全是公式 模型搭建 编码器 解码器 Experiment 实验环境 python 3.6,pytorch 1.8.0,Windows 10,i5-6300H CPU ,NVIDIA GeForce 960M 显卡. 数据集 两个真实数据集,两个基准数据集 数据预处理 归一化标准化 实验过程 调整参数:batch-size=8,heads=8,dim=64最优 评价指标 MSE和MAE 实验结果分析 消融实验,对比ARIMA,Prophet,LSTMA,LST-NET发现较其都有提高