6 种用 LSTM 做时间序列预测的模型结构 - Keras 实现

最新推荐文章于 2023-09-20 10:31:38 发布
最新推荐文章于 2023-09-20 10:31:38 发布
阅读量5.5k 收藏 52
点赞数 6
分类专栏： LSTM 机器学习

 

6 种用 LSTM 做时间序列预测的模型结构 - Keras 实现

6 种用 LSTM 做时间序列预测的模型结构 - Keras 实现

XI YANG

XI YANG

学习

59 人赞同了该文章

LSTM(Long Short Term Memory Network)长短时记忆网络，是一种改进之后的循环神经网络，可以解决 RNN 无法处理长距离的依赖的问题，在时间序列预测问题上面也有广泛的应用。

 

 

今天我们根据问题的输入输出模式划分，来看一下几种时间序列问题所对应的 LSTM 模型结构如何实现。

 

 

1. Univariate

 

 

Univariate 是指：

input 为多个时间步， output 为一个时间的问题。

数例：

训练集：
X,          y
10, 20, 30      40
20, 30, 40      50
30, 40, 50      60
…


预测输入：
X，
70, 80, 90

模型的 Keras 代码：

# define model【Vanilla LSTM】

model = Sequential()
model.add( LSTM(50,  activation='relu',  input_shape = (n_steps, n_features)) )
model.add( Dense(1) )
model.compile(optimizer='adam', loss='mse')

n_steps = 3
n_features = 1

其中：

n_steps 为输入的 X 每次考虑几个时间步 n_features 为每个时间步的序列数

这个是最基本的模型结构，我们后面几种模型会和这个进行比较。

2. Multiple Input

 

 

Multiple Input 是指：

input 为多个序列， output 为一个序列的问题。

数例：

训练集：
X，       y
[[10 15]
 [20 25]
 [30 35]] 65
[[20 25]
 [30 35]
 [40 45]] 85
[[30 35]
 [40 45]
 [50 55]] 105
[[40 45]
 [50 55]
 [60 65]] 125
…


预测输入：
X，
80,  85
90,  95
100,     105

即数据样式为：

in_seq1： [10, 20, 30, 40, 50, 60, 70, 80, 90]
in_seq2： [15, 25, 35, 45, 55, 65, 75, 85, 95]

out_seq： [in_seq1[i]+in_seq2[i] for i in range(len(in_seq1))]

模型的 Keras 代码：

# define model【Vanilla LSTM】
model = Sequential()
model.add(LSTM(50, activation='relu', input_shape=(n_steps, n_features)))
model.add(Dense(1))
model.compile(optimizer='adam', loss='mse')

n_steps = 3
# 此例中 n features = 2，因为输入有两个并行序列
n_features = X.shape[2]

其中：

n_steps 为输入的 X 每次考虑几个时间步 n_features 此例中 = 2，因为输入有两个并行序列

和 Univariate 相比：

模型的结构代码是一样的，只是在 n_features = X.shape[2]，而不是 1.

3. Multiple Parallel

 

 

Multiple Parallel 是指：

input 为多个序列， output 也是多个序列的问题。

数例：

训练集：
X,          y
[[10 15 25]
 [20 25 45]
 [30 35 65]] [40 45 85]
[[20 25 45]
 [30 35 65]
 [40 45 85]] [ 50  55 105]
[[ 30  35  65]
 [ 40  45  85]
 [ 50  55 105]] [ 60  65 125]
[[ 40  45  85]
 [ 50  55 105]
 [ 60  65 125]] [ 70  75 145]
…


预测输入：
X，
70, 75, 145
80, 85, 165
90, 95, 185

模型的 Keras 代码：

# define model【Vanilla LSTM】
model = Sequential()
model.add(LSTM(100, activation='relu', return_sequences=True, input_shape=(n_steps, n_features)))
model.add(Dense(n_features))
model.compile(optimizer='adam', loss='mse')

n_steps = 3
# 此例中 n features = 3，因为输入有3个并行序列
n_features = X.shape[2]

其中：

n_steps 为输入的 X 每次考虑几个时间步 n_features 此例中 = 3，因为输入有 3 个并行序列

和 Univariate 相比：

模型结构的定义中，多了一个 return_sequences=True，即返回的是序列， 输出为 Dense(n_features)，而不是 1.

4. Multi-Step

 

 

Multi-Step 是指：

input 为多个时间步， output 也是多个时间步的问题。

数例：

训练集：
X,          y
[10 20 30] [40 50]
[20 30 40] [50 60]
[30 40 50] [60 70]
[40 50 60] [70 80]
…


预测输入：
X，
[70, 80, 90]

模型的 Keras 代码：

# define model【Vanilla LSTM】
model = Sequential()
model.add(LSTM(100, activation='relu', return_sequences=True, input_shape=(n_steps_in, n_features)))
model.add(LSTM(100, activation='relu'))
model.add(Dense(n_steps_out))
model.compile(optimizer='adam', loss='mse')

n_steps_in, n_steps_out = 3, 2
n_features = 1

其中：

n_steps_in 为输入的 X 每次考虑几个时间步 n_steps_out 为输出的 y 每次考虑几个时间步 n_features 为输入有几个序列

和 Univariate 相比：

模型结构的定义中，多了一个 return_sequences=True，即返回的是序列， 而且 input_shape=(n_steps_in, n_features) 中有代表输入时间步数的 n_steps_in， 输出为 Dense(n_steps_out)，代表输出的 y 每次考虑几个时间步.

当然这个问题还可以用 Encoder-Decoder 结构实现：

# define model【Encoder-Decoder Model】
model = Sequential()
model.add(LSTM(100, activation='relu', input_shape=(n_steps_in, n_features)))
model.add(RepeatVector(n_steps_out))
model.add(LSTM(100, activation='relu', return_sequences=True))
model.add(TimeDistributed(Dense(1)))
model.compile(optimizer='adam', loss='mse')

5. Multivariate Multi-Step

 

 

Multivariate Multi-Step 是指：

input 为多个序列， output 为多个时间步的问题。

数例：

训练集：
X,          y
[[10 15]
 [20 25]
 [30 35]] [65 
          85]
[[20 25]
 [30 35]
 [40 45]] [ 85
           105]
[[30 35]
 [40 45]
 [50 55]] [105 
         125]
…


预测输入：
X，
[40 45]
 [50 55]
 [60 65]

模型的 Keras 代码：

# define model
model = Sequential()
model.add(LSTM(100, activation='relu', return_sequences=True, input_shape=(n_steps_in, n_features)))
model.add(LSTM(100, activation='relu'))
model.add(Dense(n_steps_out))
model.compile(optimizer='adam', loss='mse')

n_steps_in, n_steps_out = 3, 2
# 此例中 n features = 2，因为输入有2个并行序列  
n_features = X.shape[2]

其中：

n_steps_in 为输入的 X 每次考虑几个时间步 n_steps_out 为输出的 y 每次考虑几个时间步 n_features 为输入有几个序列，此例中 = 2，因为输入有 2 个并行序列

和 Univariate 相比：

模型结构的定义中，多了一个 return_sequences=True，即返回的是序列， 而且 input_shape=(n_steps_in, n_features) 中有代表输入时间步数的 n_steps_in， 输出为 Dense(n_steps_out)，代表输出的 y 每次考虑几个时间步， 另外 n_features = X.shape[2]，而不是 1， 相当于是 Multivariate 和 Multi-Step 的结构组合起来。

6. Multiple Parallel Input & Multi-Step Output

 

 

Multiple Parallel Input & Multi-Step Output 是指：

input 为多个序列， output 也是多个序列 & 多个时间步的问题。

数例：

训练集：
X,          y
[[10 15 25]
 [20 25 45]
 [30 35 65]] [[ 40  45  85]
          [ 50  55 105]]
[[20 25 45]
 [30 35 65]
 [40 45 85]] [[ 50  55 105]
          [ 60  65 125]]
[[ 30  35  65]
 [ 40  45  85]
 [ 50  55 105]] [[ 60  65 125]
             [ 70  75 145]]
…


预测输入：
X，
[[ 40  45  85]
 [ 50  55 105]
 [ 60  65 125]]

模型的 Keras 代码：

# define model【Encoder-Decoder model】
model = Sequential()
model.add(LSTM(200, activation='relu', input_shape=(n_steps_in, n_features)))
model.add(RepeatVector(n_steps_out))
model.add(LSTM(200, activation='relu', return_sequences=True))
model.add(TimeDistributed(Dense(n_features)))
model.compile(optimizer='adam', loss='mse')

n_steps_in, n_steps_out = 3, 2
# 此例中 n features = 3，因为输入有3个并行序列   
n_features = X.shape[2]

其中：

n_steps_in 为输入的 X 每次考虑几个时间步 n_steps_out 为输出的 y 每次考虑几个时间步 n_features 为输入有几个序列

这里我们和 Multi-Step 的 Encoder-Decoder 相比：

二者的模型结构，只是在最后的输出层参数不同， TimeDistributed(Dense(n_features)) 而不是 Dense(1)。

好啦，这几种时间序列的输入输出模式所对应的代码结构就是这样，如果您还有更有趣的，欢迎补充！

 

文章来源：https://zhuanlan.zhihu.com/p/59862381

Poo_Chai
关注
  • 6
    点赞
  • 踩
  • 52
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【时间序列】LSTM预测模型
Fanjufei的博客
04-26 968
是一个包含时间序列数据的文件，需要根据具体情况进行替换。代码运行后会对数据进行归一化处理，训练LSTM模型并使用模型进行预测，最后进行反归一化和可视化。可以使用MATLAB中的Deep Learning Toolbox中的LSTM神经网络对时间序列数据进行预测。
1.18、基于长短期记忆 (LSTM) 网络对序列数据进行分类
最新发布
XU157303764的博客
07-01 1777
将输入大小指定为输入数据的通道数。指定一个具有 120 个隐藏单元的双向 LSTM 层，并输出序列的最后一个元素。最后，包括一个输出大小与类的数量匹配的全连接层，后跟一个 softmax 层。基于长短期记忆（LSTM）网络对序列数据进行分类是一种重要的深度学习任务，适用于处理具有序列关系的数据，如时间序列数据、自然语言处理等。LSTM网络结构LSTM是一种适用于处理长期依赖问题的循环神经网络（RNN）变种，能够有效地捕捉序列数据中的长期依赖关系。
毕业设计之 - 题目：基于LSTM的预测算法 - 股票预测 天气预测 房价预测
HUXINY的博客
12-09 1万+
1 基于 Keras 用 LSTM 网络做时间序列预测 时间序列预测是一类比较困难的预测问题。 与常见的回归预测模型不同，输入变量之间的“序列依赖性”为时间序列问题增加了复杂度。 一种能够专门用来处理序列依赖性的神经网络被称为 递归神经网络（Recurrent Neural Networks、RNN）。因其训练时的出色性能，长短记忆网络（Long Short-Term Memory Network，LSTM）是深度学习中广泛使用的一种递归神经网络（RNN）。 在本篇文章中，将介绍如何在 R 中使用 kera
社交平台上经济类话题的文章热度信息，数据是真实的，但不是真实日期
03-16
使用LSTM模型进行时序预测的代码与说明见：https://blog.csdn.net/Q_M_X_D_D_/article/details/109366895
LSTM模型预测时间序列（快速上手）
热门推荐
Q_M_X_D_D_的博客
10-29 15万+
写在前面 LSTM模型的一个常见用途是对长时间序列数据进行学习预测，例如得到了某商品前一年的日销量数据，我们可以用LSTM模型来预测未来一段时间内该商品的销量。但对于不熟悉神经网络或者对没有了解过RNN模型的人来说，想要看懂LSTM模型的原理是非常困难的，但有些时候我们不得不快速上手搭建一个LSTM模型来完成预测任务。下面我将对一个真实的时间序列数据集进行LSTM模型的搭建，不加入很多复杂的功能，快速的完成数据预测功能。 问题大概如下：某煤矿有一个监测井，我们每20分钟获...
【机器学习】LSTM模型原理
shuaixio的博客
12-06 1万+
RNN概念与网络结构，LSTM概念与网络结构，RNN和LSTM的关系，LSTM的要素
时间序列预测模型实战案例(三)(LSTM)(Python)(深度学习)时间序列预测(包括运行代码以及代码讲解)
Snu77的博客
09-20 5万+
LSTM（Long Short-Term Memory）是一种常用的循环神经网络（RNN）模型，用于处理序列数据，具有记忆长短期的能力。在时间序列预测中，LSTM既可以多元预测机制又可以作为单元预测机制使用。LSTM的预测效果图其中MAE误差为0.15,ME误差为-0.03。,LSTM作为多元预测机制和单元预测机制的优点是可以处理序列数据中的长期依赖关系，从而可以捕捉到数据中的复杂模式和规律。它可以自适应地学习和调整模型参数，从而提高模型的预测性能和泛化能力。
异常监测②——lstm时间序列预测&lstm简易原理
Die Luft der Freiheit weht
01-21 1万+
lstm的原理，三个门是怎样作用的，对应的公式是什么
CNN-BiLSTM-Attention-Time-Series-Prediction_Keras:Keras实施的CNN + BiLSTM +注意力多元时间序列预测
05-10
Prediction_Keras"是一个使用Keras库在TensorFlow 1.9.0环境下实现的深度学习模型，该模型结合了卷积神经网络（CNN）、双向长短期记忆网络（BiLSTM）以及注意力机制（Attention Mechanism），用于多元时间序列预测。...
Python中利用LSTM模型进行时间序列预测分析的实现
09-18
在Python中，时间序列预测分析是一项重要的任务，尤其在...总的来说，Python中的LSTM模型为时间序列预测提供了一种强大且灵活的工具。通过理解和掌握LSTM的工作原理及实现方法，可以有效地解决各种时间序列预测问题。
15.时间序列预测（LSTM模型）python代码实现
05-08
时间序列预测（LSTM模型）python代码实现"这个主题涵盖了使用Python和LSTM进行时间序列预测的全过程，包括理解时间序列数据、搭建LSTM模型、数据预处理、模型训练、验证和预测。通过实践这一过程，可以提升对LSTM和...
6.cnn-lstm.py_lstmcnn股票_LSTM时间序列_LSTM_lstm预测_lstm-cnn_
09-29
标题中的“6.cnn-lstm.py_lstmcnn股票_LSTM时间序列_LSTM_lstm预测_lstm-cnn_”指的是一项利用深度学习技术，特别是卷积神经网络（CNN）和长短期记忆网络（LSTM），对股票市场进行时间序列预测的项目。这个项目可能...
人工智能-深度学习-时间序列-基于LSTM神经网络的时间序列预测
07-09
本教程主要探讨如何利用长短期记忆网络（LSTM）对时间序列数据进行预测，结合Tensorflow框架和Keras接口来构建高效的预测模型。 一、时间序列预测概述 时间序列数据是指按时间顺序排列的一系列观察值，例如股票价格...
时序数据预测：LSTM
Elsie678的博客
02-02 1万+
本文尝试应用长短期记忆（LSTM，Long Short-Term Memory）神经网络模型对月度时序数据进行预测，样本时序数据时间跨度2017年1月至今，同时对多个目标变量时序数据进行预测。本文主要参考了《python预测之美》部分章节内容，暂不做详尽的理论说明与代码解释，仅做个人积累记录使用，如有侵权或不合规请及时联系处理~ 目录 1、样本数据获取 2、数据预处理 3、重构数据结构，划分训练集与测试集 4、LSTM模型构建与训练 5、预测结果还原 6、模型效果评估 1、样本数据获取 本
时间序列分析|LSTM多变量时间序列预测
帅帅de三叔
03-27 5万+
基于LSTM多变量的时间序列预测
组合预测模型 | ARIMA-LSTM时间序列预测（Python）
前程算法屋的博客
06-05 9011
组合预测模型 | ARIMA-LSTM时间序列预测（Python）
多任务学习的 LSTM 时间序列预测模型基于python+tensorflow实现
weixin_43155435的博客
06-23 4560
多任务学习是一种利用多个相关任务的信息来改善模型性能的方法。本文介绍了如何使用 LSTM 模型进行多任务学习，在时间序列预测中预测多个相关变量。通过引入辅助任务，可以进一步提高模型的准确性。实验结果显示，多任务学习的 LSTM 模型在时间序列预测中表现出良好的性能。这种方法可以应用于许多领域，如金融预测、天气预报等。通过本文的学习，读者将了解到多任务学习的概念、LSTM 模型的构建和训练过程，以及如何应用于时间序列预测中。
lstm多变量输入回归预测模型_Keras中的多变量时间序列预测-LSTMs
05-22
LSTM（长短期记忆）是一种递归神经网络（RNN），可以用于处理序列数据，例如时间序列预测。在Keras中，可以使用LSTM层来构建多变量时间序列预测模型。 首先，需要将多个变量转换为单个输入向量。这可以通过将各个变量沿着时间轴堆叠在一起来实现。例如，如果有三个变量 $x_1, x_2, x_3$，每个变量都有 $n$ 个时间步长，则可以将它们组合成一个形状为 $(n, 3)$ 的单个输入张量。 然后，可以使用LSTM层来构建模型。例如，以下代码显示了如何构建具有一个LSTM层的模型： ```python from keras.models import Sequential from keras.layers import LSTM, Dense model = Sequential() model.add(LSTM(50, input_shape=(n_steps, n_features))) model.add(Dense(1)) model.compile(optimizer='adam', loss='mse') ``` 在这里，`n_steps` 是时间序列的步长，`n_features` 是每个时间步长的变量数。在本例中，我们使用一个LSTM层，其中有50个神经元，并且输入形状为 `(n_steps, n_features)`。随后是一个具有一个神经元的密集层，并使用均方误差作为损失函数进行编译。 最后，可以使用训练数据来拟合模型，并使用测试数据进行预测。 ```python model.fit(X_train, y_train, epochs=100, batch_size=32) y_pred = model.predict(X_test) ``` 在这里，`X_train` 和 `y_train` 是训练数据，`X_test` 是测试数据。在训练期间，使用100个时期和一个批次大小为32来拟合模型。随后，可以使用 `predict` 方法来预测测试数据的输出。 以上是LSTM多变量输入回归预测模型的基本步骤。具体的实现可能因数据类型和模型结构而异。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值