LSTM 航空乘客预测单步预测的两种情况

已于 2022-09-14 22:48:19 修改
阅读量6.9k 收藏 107
点赞数 8
分类专栏： 时间序列预测 机器学习算法研究 Python基础学习 文章标签： LSTM 时间序列预测
于 2021-08-16 20:56:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45063703/article/details/119741481
版权

前言

近期回顾LSTM 做时间序列数据预测，网上也有很多的教程，在跑这个程序时，遇到一些问题，特此记录分享一下。
使用LSTM 进行单步预测和多步预测，LSTM 的输出格式要重新调整，简单演示，不调参数。

这篇文章加入注意力机制的LSTM 对航空乘客预测，加了注意力机制的东西，有兴趣可以看看。

本文参考文章：
Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras
外国学者写的文章，比较具体，有兴趣可以进去看看。

我喜欢直接代码+ 结果展示
先代码可以跑通，才值得深入研究每个部分之间的关系；进而改造成自己可用的数据。

1. 数据集获取

链接: https://pan.baidu.com/s/1jv7A2JvIhA6oqvtYnYh9vQ
提取码: m5j5

2. 模型实验

数据展示
在这里插入图片描述
1949 到 1960 一共 12 年，每年 12 个月的数据，一共 144 个数据，单位是 1000

2.1 单步预测 1—》1

用当前数据预测下一个数据
目标：预测国际航班未来 1 个月的乘客数

  • 导入包
# 单变量，1---》1 

import numpy
import matplotlib.pyplot as plt
from pandas import read_csv
import math
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
from sklearn.preprocessing import MinMaxScaler
from sklearn.metrics import mean_squared_error
  • 导入数据
# load the dataset
dataframe = read_csv('airline-passengers.csv', usecols=[1], engine='python')
# print(dataframe)
print("数据集的长度：",len(dataframe))
dataset = dataframe.values
# 将整型变为float
dataset = dataset.astype('float32')

plt.plot(dataset)
plt.show()

在这里插入图片描述

  • 数据格式转换为监督学习，归一化数据，训练集和测试集划分
# X是给定时间(t)的乘客人数，Y是下一次(t + 1)的乘客人数。
# 将值数组转换为数据集矩阵,look_back是步长。
def create_dataset(dataset, look_back=1):
    dataX, dataY = [], []
    for i in range(len(dataset)-look_back-1):
        a = dataset[i:(i+look_back), 0]
        # X按照顺序取值
        dataX.append(a)
        # Y向后移动一位取值
        dataY.append(dataset[i + look_back, 0])
    return numpy.array(dataX), numpy.array(dataY)

# fix random seed for reproducibility
numpy.random.seed(7)

# 数据缩放
scaler = MinMaxScaler(feature_range=(0, 1))
dataset = scaler.fit_transform(dataset)


# 将数据拆分成训练和测试，2/3作为训练数据
train_size = int(len(dataset) * 0.67)
test_size = len(dataset) - train_size
train, test = dataset[0:train_size,:], dataset[train_size:len(dataset),:]
print("原始训练集的长度：",train_size)
print("原始测试集的长度：",test_size)
  • 构建模型、预测
    训练集长度96 ，监督学习之后变为94
    原因：一是因为第96个数据没有预测值，这个值忽略；而是因为构建监督学习时，代码自动过滤一个值。所以变成94个数据。代码那块也可以不自动过滤一个值，对代码修改一下也行。

我当时在这里耗费很大的精力

# 构建监督学习型数据

look_back = 1
trainX, trainY = create_dataset(train, look_back)
testX, testY = create_dataset(test, look_back) 
print("转为监督学习，训练集数据长度：", len(trainX))
# print(trainX,trainY)
print("转为监督学习，测试集数据长度：",len(testX))
# print(testX, testY )
# 数据重构为3D [samples, time steps, features]
trainX = numpy.reshape(trainX, (trainX.shape[0], 1, trainX.shape[1]))
testX = numpy.reshape(testX, (testX.shape[0], 1, testX.shape[1]))
print('构造得到模型的输入数据(训练数据已有标签trainY): ',trainX.shape,testX.shape)

# create and fit the LSTM network
model = Sequential()
model.add(LSTM(4, input_shape=(1, look_back)))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(trainX, trainY, epochs=100, batch_size=1, verbose=2)

# 打印模型
model.summary()

# 开始预测
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)

# 逆缩放预测值
trainPredict = scaler.inverse_transform(trainPredict)
trainY = scaler.inverse_transform([trainY])
testPredict = scaler.inverse_transform(testPredict)
testY = scaler.inverse_transform([testY])

# 计算误差
trainScore = math.sqrt(mean_squared_error(trainY[0], trainPredict[:,0]))
print('Train Score: %.2f RMSE' % (trainScore))
testScore = math.sqrt(mean_squared_error(testY[0], testPredict[:,0]))
print('Test Score: %.2f RMSE' % (testScore))


# shift train predictions for plotting
trainPredictPlot = numpy.empty_like(dataset)
trainPredictPlot[:, :] = numpy.nan
trainPredictPlot[look_back:len(trainPredict)+look_back, :] = trainPredict

# shift test predictions for plotting
testPredictPlot = numpy.empty_like(dataset)
testPredictPlot[:, :] = numpy.nan
testPredictPlot[len(trainPredict)+(look_back*2)+1:len(dataset)-1, :] = testPredict

# plot baseline and predictions
plt.plot(scaler.inverse_transform(dataset))
plt.plot(trainPredictPlot)
plt.plot(testPredictPlot)
plt.show()

这里说下LSTM的输入格式为：samples, time steps, features
input_shape的格式为：time steps, features
这两个地方容易出错

  • 打印输出结果
原始训练集的长度： 96
原始测试集的长度： 48
转为监督学习，训练集数据长度： 94  # 这两个地方需要重点注意一下，
转为监督学习，测试集数据长度： 46
构造得到模型的输入数据(训练数据已有标签trainY):  (94, 1, 1) (46, 1, 1)
Epoch 1/100
此过程省略

Model: "sequential_49"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm_49 (LSTM)               (None, 4)                 96        
_________________________________________________________________
dense_49 (Dense)             (None, 1)                 5         
=================================================================
Total params: 101
Trainable params: 101
Non-trainable params: 0
_________________________________________________________________
Train Score: 22.62 RMSE
Test Score: 51.93 RMSE

在这里插入图片描述

  • 预测下一个月的数据
# 预测未来的数据

#测试数据的最后一个数据没有预测,这里补上
finalX = numpy.reshape(test[-1], (1, 1, testX.shape[1]))

#预测得到标准化数据
featruePredict = model.predict(finalX)

#将标准化数据转换为人数
featruePredict = scaler.inverse_transform(featruePredict)

#原始数据是1949-1960年的数据,下一个月是1961年1月份
print('模型预测1961年1月份的国际航班人数是: ',featruePredict)

结果：
模型预测1961年1月份的国际航班人数是: [[252.41042]]

2.2 单步预测 3—》1

前三步预测下一步数据

  • 直接代码
# 单变量，3---》1 

import numpy
import matplotlib.pyplot as plt
from pandas import read_csv
import math
from keras.models import Sequential
from keras.layers import Dense
from keras.layers import LSTM
from sklearn.preprocessing import MinMaxScaler
from sklearn.metrics import mean_squared_error
#matplotlib inline

# load the dataset
dataframe = read_csv('airline-passengers.csv', usecols=[1], engine='python')
# print(dataframe)
print("数据集的长度：",len(dataframe))
dataset = dataframe.values
# 将整型变为float
dataset = dataset.astype('float32')

plt.plot(dataset)
plt.show()


# X是给定时间(t)的乘客人数，Y是下一次(t + 1)的乘客人数。
# 将值数组转换为数据集矩阵,look_back是步长。
def create_dataset(dataset, look_back=1):
    dataX, dataY = [], []
    for i in range(len(dataset)-look_back-1):
        a = dataset[i:(i+look_back), 0]
        # X按照顺序取值
        dataX.append(a)
        # Y向后移动一位取值
        dataY.append(dataset[i + look_back, 0])
    return numpy.array(dataX), numpy.array(dataY)

# fix random seed for reproducibility
numpy.random.seed(7)


# 数据缩放
scaler = MinMaxScaler(feature_range=(0, 1))
dataset = scaler.fit_transform(dataset)


# 将数据拆分成训练和测试，2/3作为训练数据
train_size = int(len(dataset) * 0.67)
test_size = len(dataset) - train_size
train, test = dataset[0:train_size,:], dataset[train_size:len(dataset),:]
print("原始训练集的长度：",train_size)
print("原始测试集的长度：",test_size)



# 构建监督学习型数据
look_back = 3
trainX, trainY = create_dataset(train, look_back)
testX, testY = create_dataset(test, look_back) 
print("转为监督学习，训练集数据长度：", len(trainX))
# print(trainX,trainY)
print("转为监督学习，测试集数据长度：",len(testX))
# print(testX, testY )
# 数据重构为3D [samples, time steps, features]
# trainX = numpy.reshape(trainX, (trainX.shape[0], 1, trainX.shape[1]))
# testX = numpy.reshape(testX, (testX.shape[0], 1, testX.shape[1]))

trainX = numpy.reshape(trainX, (trainX.shape[0],  trainX.shape[1],1))
testX = numpy.reshape(testX, (testX.shape[0], testX.shape[1], 1))

print('构造得到模型的输入数据(训练数据已有标签trainY): ',trainX.shape,testX.shape)

# create and fit the LSTM network
model = Sequential()
# model.add(LSTM(4, input_shape=(1, look_back)))
model.add(LSTM(4, input_shape=( look_back,1)))  # 与上面的重构格式对应，要改都改，才能跑通代码


model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(trainX, trainY, epochs=100, batch_size=1, verbose=2)

# 打印模型
model.summary()

# 开始预测
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)

# 逆缩放预测值
trainPredict = scaler.inverse_transform(trainPredict)
trainY = scaler.inverse_transform([trainY])
testPredict = scaler.inverse_transform(testPredict)
testY = scaler.inverse_transform([testY])

# 计算误差
trainScore = math.sqrt(mean_squared_error(trainY[0], trainPredict[:,0]))
print('Train Score: %.2f RMSE' % (trainScore))
testScore = math.sqrt(mean_squared_error(testY[0], testPredict[:,0]))
print('Test Score: %.2f RMSE' % (testScore))


# shift train predictions for plotting
trainPredictPlot = numpy.empty_like(dataset)
trainPredictPlot[:, :] = numpy.nan
trainPredictPlot[look_back:len(trainPredict)+look_back, :] = trainPredict

# shift test predictions for plotting
testPredictPlot = numpy.empty_like(dataset)
testPredictPlot[:, :] = numpy.nan
testPredictPlot[len(trainPredict)+(look_back*2)+1:len(dataset)-1, :] = testPredict

# plot baseline and predictions
plt.plot(scaler.inverse_transform(dataset))
plt.plot(trainPredictPlot)
plt.plot(testPredictPlot)
plt.show()
  • 结果展示
原始训练集的长度： 96
原始测试集的长度： 48
转为监督学习，训练集数据长度： 92
转为监督学习，测试集数据长度： 44
构造得到模型的输入数据(训练数据已有标签trainY):  (92, 3, 1) (44, 3, 1)
Epoch 1/100
92/92 - 2s - loss: 0.0203
此过程省略

Model: "sequential_48"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm_48 (LSTM)               (None, 4)                 96        
_________________________________________________________________
dense_48 (Dense)             (None, 1)                 5         
=================================================================
Total params: 101
Trainable params: 101
Non-trainable params: 0
_________________________________________________________________
Train Score: 22.11 RMSE
Test Score: 50.08 RMSE

在这里插入图片描述

  • 最后三个月预测下一个月的数据
# 预测未来的数据

#测试数据的最后一个数据没有预测,这里补上
finalX = numpy.reshape(test[-3:], (1, testX.shape[1], 1))


#预测得到标准化数据
featruePredict = model.predict(finalX)

#将标准化数据转换为人数
featruePredict = scaler.inverse_transform(featruePredict)

#原始数据是1949-1960年的数据,下一个月是1961年1月份
print('模型预测1961年1月份的国际航班人数是: ',featruePredict)
  • 结果展示

模型预测1961年1月份的国际航班人数是: [[461.36993]]

不要在意结果，你懂的！！！

3. 总结

  • 使用LSTM网络，数据要归一化处理， 格式要处理
  • 输入格式：samples, time steps, features（维度）
    input_shape的格式为：time steps, features
  • LSTM内部超参数可以调节，层数可以增加
  • 从数据的角度，考虑数据预处理的情况，比如差值填充之类的，这里没有用到。
  • 在划分数据集时，训练集长度，转为监督学习后长度会缩小。

有个疑问：
多步预测时

 # trainX = numpy.reshape(trainX, (trainX.shape[0], 1, trainX.shape[1]))
# testX = numpy.reshape(testX, (testX.shape[0], 1, testX.shape[1]))
# model.add(LSTM(4, input_shape=(1, look_back)))

这个三个部分对应修改，程序也可以正常运行，预测结果和上述也差不多。
上面肯定是对的，这里的处理，我认为是数据处理的格式不同；比如说上面是前三步预测下一步，这里处理的话就是前一步预测下三步，模型都能跑通。
有大佬走过路过的话，烦请解答一下，万分感激。

nsq_ai
关注
  • 8
    点赞
  • 踩
  • 107
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 19
    评论
专栏目录
LSTM时间序列预测 LSTM时间序列预测
07-01
LSTM时间序列预测 LSTM时间序列预测
用LSTM进行时间序列预测（单步，多步，单变量，多变量）
Dove_1234的博客
03-03 9858
LSTM因其具有记忆的功能，可以利用很长的序列信息来建立学习模型，所以用它来进行时间序列的预测会很有优势。 在实际工程中用LSTM进行时间序列的预测主要有两个难点：一是前期对数据的处理，二是初始模型的搭建。
深度学习实战案例：基于LSTM的国际航空公司乘客预测（附完整代码）
Python学习与数据挖掘
05-02 3348
时间序列预测问题是一类相对困难的预测建模问题。与回归预测建模不同，时间序列还增加了输入变量之间序列依赖性的复杂性。长短期记忆网络或 LSTM 网络是一种用于深度学习的递归神经网络，比较擅长解决此类问题。在本文中，我将分享如何使用 Keras 深度学习库在 Python 中开发 LSTM 网络来解决演示时间序列预测问题。这些示例将准确展示你如何针对时间序列预测建模问题开发自己的不同结构的 LSTM 网络。
Python||1. 使用LSTM模型进行乘客的数目预测；2.对文件rest-api-asr_python_audio_16k.m4a进行语音识别
最新发布
weixin_63378697的博客
01-29 1507
1. 使用LSTM模型进行乘客的数目预测 •数据集 international-airline-passengers.csv •（可以不在意精度和loss） 2. 对文件rest-api-asr_python_audio_16k.m4a进行语音识别
航空公司-乘客-使用LSTM进行预测
03-01
航空公司-乘客-使用LSTM进行预测
lstm单变量单步预测
weixin_44992737的博客
11-20 1818
lstm单变量单步预测
LSTM案例airline-passengers全面解析与优化
墨柳烟的博客
03-25 2842
前言 刚开始学习LSTM的一些理解 torch版本 print(torch.__version__) 1.10.2 原数据下载 https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv 代码步步解析 加载包们 import numpy as np import matplotlib.pyplot as plt import pandas as pd import torch import tor
基于 LSTM 的船舶轨迹预测，单步预测
fyuhao的博客
12-06 9974
基于 LSTM 的船舶轨迹预测，单步预测
单步预测与多步预测
热门推荐
酒心★
01-04 1万+
1.单步预测 所谓单步预测，就是每—次预测的时候 输入窗口 只 预测 未来一个值。 单步预测的两个策略： 输入窗口 全部使用 真实值作为 输入窗口，这种情况是只预测未来一个值的时候这个情况的。 预测未来第一个值的时候输入窗口使用全部真实值，预测后面n-1 个的时候，预测窗口将包含有预测值，这种情况是单步预测预测未来的多个值的时候。 2. 多步预测 所谓多步预测，就是每—次预测的时候 输入窗口 预测 未来n个值（也叫n步）。 多步预测的策略： 只预测未来一次，即只预测一个n输入的n个输出，n是滑动窗口
lstm单步预测
Ling_Ze的博客
01-30 203
lstm单步预测
international-airline-passengers.csv
12-26
international-airline-passengers.csv 国际航空乘客数据集， 描述 包含国际航班旅客时间序列数据集的CSV；每月总计数千。1月49日-12月60日 资源 CSV资料来自：https : //datamarket.com/data/set/22u3/international-airline-passengers-monthly-totals-in-thousands-jan-49-dec-60#!ds=22u3&display=line
基于LSTM算法的航空发动机寿命预测
03-10
对于航空发动机寿命预测问题，它的难点在于特征数数多，而且特征也是传感器所收集到的数据，传感器一般带有噪声，会造成拟合过程中的不准确性，设计一个多变量输入，单变量输出的预测模型，而RNN（循环神经网络）是...
lstm.zip_lstm 预测_lstm 多维_lstm 时序_lstm多维单步_多维参数预测
07-14
实现一多维时序数据的预测，相关参数可自行修改
LSTM-交通预测 代码
04-14
LSTM-交通预测 代码+模型 训练数据
基于LSTM交通客流预测.zip
01-16
以某地铁站系统的用户客流量数据为基础，补充研究当日包含的天气因素等数据，完成基于地铁出行平常日(不包含节假日)客流量数据的训练，实现对地铁站点的客流进行分析和预测。 通过 2019 年某地铁站的日客流量数据...
一种lstm时间序列预测python
10-29
lstm时间序列预测python一种lstm时间序列预测python一种lstm时间序列预测python一种lstm时间序列预测python一种lstm时间序列预测python一种lstm时间序列预测python一种lstm时间序列预测python一种lstm时间序列预测...
TPA-LSTM时间序列预测实战案例
11-05
本文通过实战案例讲解TPA-LSTM实现多元时间序列预测，在本文中所提到的TPA和LSTM分别是注意力机制和深度学习模型,通过将其结合到一起实现时间序列的预测，本文利用有关油温的数据集来进行训练模型，同时将模型保存到...
lstm时间序列预测单步
09-13
LSTM（Long Short-Term Memory）是一种适用于时间序列预测的神经网络模型，其具有记忆功能，可以利用长序列信息来进行预测。在进行时间序列的预测时，我们通常会面临两个难点：数据处理和模型搭建。 针对单步预测的LSTM时间序列预测，我们首先需要进行数据处理。一种常用的方法是使用滑动窗口来处理数据。滑动窗口是指将时间序列数据切割成多个固定大小的窗口，每个窗口包含一定数量的历史数据及其对应的目标值。通过这种方式，我们可以将时间序列数据转化为监督学习问题，使得模型能够根据过去的观测值来预测未来的值。具体而言，我们可以将每个窗口的历史数据作为输入，目标值作为输出，从而建立监督学习模型。 接下来是模型的搭建。对于单步预测的LSTM模型，我们可以将一个LSTM层连接到一个全连接层。LSTM层用于学习时间序列的长期依赖关系，而全连接层用于将LSTM层的输出映射到预测的目标值。在模型的参数设定方面，我们可以根据具体问题的需求和原始数据的情况来进行调整，以获得更好的预测效果。 综上所述，单步预测的LSTM时间序列预测包括数据处理和模型搭建两个主要步骤。数据处理阶段中，我们可以使用滑动窗口方法将时间序列数据转化为监督学习问题。模型搭建阶段中，我们可以将一个LSTM层和一个全连接层相连接，以构建一个能够学习时间序列长期依赖关系的神经网络模型。这样的模型可以用于预测未来的单步时间序列数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

nsq_ai

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值