长短期记忆网络_长短期记忆时序网络LSTNet

点击上方“算法数据侠”，选择“星标”公众号

第一时间获取最新推文与资源分享

小伙伴们好呀，我是oubahe。终于各位神兽们归笼了，也到了静下心来学习的季节。气温骤降，注意防寒保暖。那就窝在暖和的被子里学习一篇来自Machine Learning的大作《Modeling Long- and Short-Term Temporal Patterns with Deep Neural Networks》，简称LSTNet。LSTNet是专门用于时间序列预测的深度学习网络，该网络的主要有如下4个特点：

1、一维CNN用于捕捉时序短期局部信息； 2、使用LSTM或GRU捕捉时序长期相关信息； 3、Skip-RNN对输入数据维度整理，使用LSTM或GRU捕捉更长期的信息并充分利用序列的周期特性，会引入周期P这个超参数； 4、HighWay使用Dense模拟AR自回归过程，为时序预测添加线性成分，同时使输出可以响应输入的尺度变化。 想想结合了短期局部时序信息、长期记忆信息和自回归属性等多种混合模式的多变量时序预测模型，具体细节到底是啥呀！？能不能快快上源码学习一波，简直不要太香。好啦，话不多说，展示~ 01

—

原理简介

一起看看LSTNet模型结构图，感受感受大佬们的智慧结晶之后再进行下一步的剖析。

从原理上来深入剖析LSTNet这个长期和短期混合模式的时序预测模型。

1、首先LSTNet的第一层是一个去除池化层的卷积网络，它的目标是提取时间维度上的短期模式以及变量之间的局部依赖关系。卷积层由多个宽度为ω、高度为n的滤波器组成(高度的设置与变量个数一致)。第k个滤波器扫过输入矩阵X并产生hk。