TensorFlow2 | RNN—时间序列预测—几个简单代码例子

最新推荐文章于 2024-07-29 08:53:35 发布
置顶 最新推荐文章于 2024-07-29 08:53:35 发布
阅读量1.9k 收藏 26
点赞数 6
分类专栏： # 《Hands On ML》笔记 时间序列分析 TensorFlow 文章标签： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36810398/article/details/107345604
版权

代码整理自 《Hands On Machine Learning with sklearn,Keras and TensorFlow》Chapter 15: Processing Sequences Using RNNs and CNNs。

文章目录

1.生成模拟数据

import numpy as np
import matplotlib.pyplot as plt
from tensorflow import keras
#### 模拟数据生成函数：多个正弦波+随机噪音
def generate_time_series(batch_size, n_steps,seed=10):
    np.random.seed(seed)
    freq1, freq2, offsets1, offsets2 = np.random.rand(4, batch_size, 1)
    time = np.linspace(0, 1, n_steps)
    series = 0.5 * np.sin((time - offsets1) * (freq1 * 10 + 10)) # wave 1
    series += 0.2 * np.sin((time - offsets2) * (freq2 * 20 + 20)) # + wave 2
    series += 0.1 * (np.random.rand(batch_size, n_steps) - 0.5) # + noise
    return series[..., np.newaxis].astype(np.float32)
#### 生成模拟时间序列以及训练集和测试集
n_steps = 50
series = generate_time_series(10000, n_steps + 1)
X_train, Y_train = series[:7000, :n_steps], series[:7000, -1]
X_valid, Y_valid = series[7000:9000, :n_steps], series[7000:9000, -1]
X_test, Y_test = series[9000:, :n_steps], series[9000:, -1]

模拟数据大致模样如下图所示：

在这里插入图片描述

2.朴素预测方法作为基准预测方法

预测结果约为 mse=0.019979032。

####朴素预测方法（naive forecast）作为预测效果比较
Y_pred = X_valid[:, -1]
np.mean(keras.losses.mean_squared_error(Y_valid, Y_pred))

3.预测未来的1个值

3.1 TensorFlow线性回归预测

预测结果约为 mse=0.003～0.004，比基准预测效果好得多。

#### linear regression
model = keras.models.Sequential([
    keras.layers.Flatten(input_shape=[50, 1]),
    keras.layers.Dense(1)
])
model.compile(loss=keras.losses.mean_squared_error,
              optimizer=keras.optimizers.Adam(0.01))
model.fit(X_train,Y_train,epochs=20,verbose=0)
model.evaluate(X_valid,Y_valid)

3.2 SimpleRNN

预测结果约为 mse=0.011左右，
只用一个RNN神经元的一层RNN，准确率不如线性回归。

#### simple RNN
model = keras.models.Sequential([
    keras.layers.SimpleRNN(1, input_shape=[None, 1])
])
model.compile(loss=keras.losses.mean_squared_error,
              optimizer=keras.optimizers.Adam(0.01))
model.fit(X_train,Y_train,epochs=20,verbose=0)
model.evaluate(X_valid,Y_valid)

3.3 多层 SimpleRNN

预测结果约为 mse=0.0037 。

#### deep rnn #1
model = keras.models.Sequential([
    keras.layers.SimpleRNN(20, return_sequences=True, input_shape=[None, 1]),
    keras.layers.SimpleRNN(20),
    keras.layers.Dense(1)
])
model.compile(loss=keras.losses.mean_squared_error,
              optimizer=keras.optimizers.Adam(0.01))
model.fit(X_train,Y_train,epochs=20,verbose=0)
model.evaluate(X_valid,Y_valid)

3.4 多层 LSTM

预测结果约为 mse=0.002 左右，要好于多层SimpleRNN

#### deep RNN:LSTM
model = keras.models.Sequential([
    keras.layers.LSTM(20, return_sequences=True, input_shape=[None, 1]),
    keras.layers.LSTM(20),
    keras.layers.Dense(1)
])
model.compile(loss=keras.losses.mean_squared_error,
              optimizer=keras.optimizers.Adam(0.01))
model.fit(X_train,Y_train,epochs=20,verbose=0)
model.evaluate(X_valid,Y_valid)

3.5 多层GRU

预测结果约为 mse=0.002 左右，和多层LSTM差不多。

# deep RNN:GRU
model = keras.models.Sequential([
    keras.layers.GRU(20, return_sequences=True, input_shape=[None, 1]),
    keras.layers.GRU(20),
    keras.layers.Dense(1)
])
model.compile(loss=keras.losses.mean_squared_error,
              optimizer=keras.optimizers.Adam(0.01))
model.fit(X_train,Y_train,epochs=20,verbose=0)
model.evaluate(X_valid,Y_valid)

4. 预测未来的10个值

亦即 Forecasting Several Time Steps Ahead。下述代码的预测误差mse比上述方法预测mse大，是因为预测未来的多个点是更困难的任务。

4.1 10次预测10个值:Sequence-to-Vector RNN

基本思路是要预测第10个点，先用模型预测未来的第1个点；然后未来的第1个点的预测值当做已知的，预测第2个点，以此类推…

下述代码中，预测结果取决于训练好的单个模型的准确度。

#### Forecasting Several Time Steps Ahead:forecast a point one time
series = generate_time_series(2000, n_steps + 10)
X_valid, y_valid = series[:, :n_steps], series[:,n_steps:]
X = X_valid
for step_ahead in range(10):
    y_pred_one = model.predict(X[:, step_ahead:])[:, np.newaxis, :]
    X = np.concatenate([X, y_pred_one], axis=1)
y_pred = X[:, n_steps:]
mse=keras.losses.mean_squared_error(y_valid,y_pred)
print(mse.numpy().mean())

4.2 1次预测10个值:Sequence-to-Vector RNN

将RNN的输出改为10，一次预测未来10个点，此时需要重新构造训练集：label变为10维。

下述代码，结果约为 mse=0.0188 左右。

#### Forecasting Several Time Steps Ahead:forecast 10 points one time,sequence-to-vector model
series = generate_time_series(10000, n_steps + 10)
X_train, Y_train = series[:7000, :n_steps], series[:7000, -10:, 0]
X_valid, Y_valid = series[7000:9000, :n_steps], series[7000:9000, -10:, 0]
X_test, Y_test = series[9000:, :n_steps], series[9000:, -10:, 0]
#
model = keras.models.Sequential([
    keras.layers.SimpleRNN(20, return_sequences=True, input_shape=[None, 1]),
    keras.layers.SimpleRNN(20),
    keras.layers.Dense(10)
])
model.compile(loss=keras.losses.mean_squared_error,
              optimizer=keras.optimizers.Adam(0.01))
model.fit(X_train,Y_train,epochs=20,verbose=0)
model.evaluate(X_valid,Y_valid)

4.3 1次预测10个值:Sequence-to-Sequence RNN

【自己的理解，供参考】4.2中损失函数计算时候最用了RNN最后输出的向量和标签来计算梯度优化模型，还可以更进一步。每一个time step都给模型一个标签，这样可以更充分的优化模型，进一步提高模型的准确率。此时需要重构标签：在4.2标签的基础上添加time step维度。

下述代码中，last_time_step_mse=0.0067 左右,要比4.2要好。

#### Forecasting Several Time Steps Ahead:forecast 10 points one time,sequence-to-sequece model
Y = np.empty((10000, n_steps, 10)) # each target is a sequence of 10D vectors
for step_ahead in range(1, 10 + 1):
    Y[:, :, step_ahead - 1] = series[:, step_ahead:step_ahead + n_steps, 0]
Y_train = Y[:7000]
Y_valid = Y[7000:9000]
Y_test = Y[9000:]
#
model = keras.models.Sequential([
    keras.layers.SimpleRNN(20, return_sequences=True, input_shape=[None, 1]),
    keras.layers.SimpleRNN(20, return_sequences=True),
    keras.layers.TimeDistributed(keras.layers.Dense(10))
])
def last_time_step_mse(Y_true, Y_pred):
    return keras.metrics.mean_squared_error(Y_true[:, -1], Y_pred[:, -1])
optimizer = keras.optimizers.Adam(lr=0.01)
model.compile(loss="mse", optimizer=optimizer, metrics=[last_time_step_mse])
model.fit(X_train,Y_train,epochs=20,verbose=0)
model.evaluate(X_valid,Y_valid)

4.4 1次预测10个值:1-d-CNN+Sequence-to-Sequence RNN

在4.3的模型开头加上一层1-d cnn，会提高准确率。

需要注意的是：输入维度为[7000,50,1]，经过下面代码中的CNN之后，输出的维度为[7000,24,20]（因为kernel_size=4,stride=2），这个维度再经过后面的两层SimpleRNN，模型的输出维度为[7000,24,10]，因此此时需要将原来的label（尺寸为[7000,50,10]），进行截取操作，由Ytrain[:, 3::2]之后，得到的维度就是[7000,24,10]。Y_valid同理。

下述代码中，last_time_step_mse=0.0039左右。

#### 1d-CNN+RNN
model = keras.models.Sequential([
    keras.layers.Conv1D(filters=20, kernel_size=4, strides=2, padding="valid",
    input_shape=[None, 1]),
    keras.layers.SimpleRNN(20, return_sequences=True),
    keras.layers.SimpleRNN(20, return_sequences=True),
    keras.layers.TimeDistributed(keras.layers.Dense(10))
])
model.compile(loss="mse", optimizer=keras.optimizers.Adam(0.01),metrics=[last_time_step_mse])
history = model.fit(X_train, Y_train[:, 3::2], epochs=20,verbose=0)
model.evaluate(X_valid,Y_valid[:, 3::2])

5. 总结

在本实验中：

（1）预测未来1个值的时候：LSTM和GRU预测准确度最高，线性回归训练速度比二者快一些；

（2）预测未来10个值的时候：准确率的关系CNN+RNN>S-to-S RNN> S-to-V RNN，而且CNN+RNN训练速度快一些。

南瓜派三蔬
关注
专栏目录
Pytorch Note39 RNN 序列预测
风信子的猫Redamancy的快乐星球
08-03 2669
Pytorch Note39 RNN 序列预测 文章目录Pytorch Note39 RNN 序列预测数据预处理创建数据集定义模型训练及测试 全部笔记的汇总贴：Pytorch Note 快乐星球 前面我们讲到使用 RNN 做简单的图像分类的问题，但是 RNN 并不擅长此类问题，下面我们讲一讲如何将 RNN 用到时间序列的问题上，因为对于时序数据，后面的数据会用到前面的数据，LSTM 的记忆特性非常适合这种场景。据会用到前面的数据，LSTM 的记忆特性非常适合这种场景。 首先我们可以读入数据，这个数据是 10
RNN理论详解及tensorflow实战
weixin_43178406的博客
04-30 1676
1. 多元线性回归基本假定与表达式 1.1 基本假定 1.2 具体值的表达方式 1.3 向量表达形式 1.4 矩阵表达方式 2. 多元线性回归求解 2.1 矩阵解 2.2 代数解 2.3 几何解 2.3.1 线性方程组的几何意义 2.3.2 最小二乘法 2.4 正交投影矩阵 3. sklearn中linear model模块简介 3.1 总体概述 3.2 linear_model.LinearRegression 4. 多重共线性 5. 岭回归 5.1 原理简介 5.2 sklearn简介 5.3 选择最佳
TensorFlow搭建RNN(1/7) 简单案例
hao像飘在外太空的博客
07-14 3360
Rnn最大的不同是，它有 状态(State) 相对于普通的神经网络和算法如何体现State的不同呢？ 我们现在有这样一个需求： 我一次又一次的输入一些值， 我希望在我每次输入的时候， 我的程序会输出我之前 倒数第3次时的输入的值 比如， 我输入 1 2 3 4 5 6 7 8 （一次 输入 一个） 它输出 - - - 1 2 3 4 5 然后我又输入 5 4 3 2 1 0 然后它
LSTM | 根据时间序列预测 | 实例
weixin_44081983的博客
03-30 4799
1. %matplotlib inline：用在jupyter画图 调用 matplotlib.pyplot 的绘图函数 plot() 进行绘图的时候，或者生成一个figure画布的时候，可以直接在你的python console里面生成图像。 在其他IDE里删除这句即可，像生成图像使用 plt.show() 2. astype() dataset = dataset.astype('float3...
【Python时序预测系列】基于RNN实现单变量时间序列预测（案例+源码）
最新发布
数据杂坛
07-29 381
基于RNN实现单变量时间序列预测（案例+源码）
【时间序列】最完整的时间序列分析和预测（含实例及代码）
热门推荐
fengdu78的博客
01-24 4万+
时间序列在生产和科学研究中，对某一个或者一组变量 进行观察测量，将在一系列时刻所得到的离散数字组成的序列集合，称之为时间序列。pandas生成时间序列过滤数据重采样插值滑窗数据平稳性与差...
TensorFlow中RNN样例代码详解
为之则易，不为则难
11-28 2万+
关于RNN的理论部分已经在上一篇文章中讲过了，本文主要讲解RNN在TensorFlow中的实现。与theano不同，TensorFlow在一个更加抽象的层次上实现了RNN单元，所以调用tensorflow的API来实现RNN是比较容易的。这里先介绍TensorFlow中与RNN相关的几个比较常用的函数，　　(1)cell = tf.nn.rnn_cell.BasicLSTMCell(num_unit
PyTorch-09 循环神经网络RNN&LSTM (时间序列表示、RNN循环神经网络、RNN Layer使用、时间序列预测案例、RNN训练难题、解决梯度离散LSTM、LSTM使用、情感分类问题实战)
m0_37755995的博客
06-13 3593
PyTorch-09 循环神经网络RNN&LSTM (时间序列表示、RNN循环神经网络、RNN Layer使用、时间序列预测案例（一层的预测点的案例）、RNN训练难题（梯度爆炸和梯度离散）和解决梯度爆炸问题grad clipping、解决梯度离散问题LSTM、LSTM使用、情感分类问题实战)...
有趣的深度学习——使用TensorFlow 2.0 + RNN 实现一个古体诗生成器
笔墨留年。
01-02 1万+
一、前言 很早之前，我曾经写过一个古体诗生成器（详情可以戳TensorFlow练手项目二：基于循环神经网络(RNN)的古诗生成器），那个时候用的还是Python 2.7和TensorFlow 1.4。 随着框架的迭代，API 的变更，老项目已经很难无障碍运行起来了。有不少朋友在老项目下提出了各种问题，于是，我就萌生了使用TensorFlow 2.0重写项目的想法。 这不，终于抽空，重写了这个项目。...
Python TensorFlow循环神经网络RNN-LSTM神经网络预测股票市场价格时间序列和MSE评估准确性...
拓端研究室TRL
07-28 295
全文链接：http://tecdat.cn/?p=26562该项目包括：自 2000 年 1 月以来的股票价格数据。我们使用的是 Microsoft 股票。将时间序列数据转换为分类问题。使用 TensorFlow 的 LSTM 模型由 MSE 衡量的预测准确性相关视频GPU 设置（如果可用）gpus=tf.config.experimental.li读取数据集有几种方法可以获取股市数据。以下数...
TensorFlow 2.0 + RNN 实现一个古体诗生成器 附完整代码
02-07 304
TensorFlow 2.0 + RNN 实现一个古体诗生成器 附完整代码
TensorFlow-2.x教程：TensorFlow 2.x版本的教程和示例，包括CNN，RNN，GAN，自动编码器，FasterRCNN，GPT，BERT示例等。TF 2.0版入门实例代码，实战教程
02-03
TensorFlow 2.0教程 我们的回购。 是的赢家 。 时间线： 2019年10月1日：TensorFlow 2.0稳定！ 2019年8月24日： 2019年6月8日： 2019年3月7日： 2019年1月11日： 2018年8月14日： 安装 确保您使用的是python3.x。 CPU安装 pip install tensorflow - U GPU安装 自己安装CUDA 10.0 （或cudnn ）和cudnn 。 并设置LD_LIBRARY_PATH 。 pip install tensorflow - gpu - U 测试安装： In [ 2 ]: import tensorflow as tf In [ 3 ]: tf . __version__ Out [ 3 ]: '2.0.0' In [ 4 ]: tf . test . is_gpu_available () ... totalMemory : 3.95 GiB freeMemory : 3.00 GiB ... Out [ 4 ]: True 配套TF2视频教程 TensorFl
tensorflow 2.0 循环神经网络 之 RNN
ZHE
06-20 1832
文章目录语义分析提出模型解决参数量大的问题-Weight sharing解决没有语义相关性-Consistent memory 语义分析 提出模型 存在问题： 每个单词全连接，参数量极大。 没有语义相关性。 解决参数量大的问题-Weight sharing 通过权值共享来极大减少参数量。 解决没有语义相关性-Consistent memory 通过一致性内存机制来产生单词之间的语义相关和...
TensorFlow2学习-RNN
weixin_43729570的博客
12-23 562
simple RNN 单元的建立 cell = layers.SimpleRNNCell(3) cell.build(input_shape=(None, 4)) In [10]: cell.trainable_variables [<tf.Variable 'kernel:0' shape=(4, 3) dtype=float32, numpy= array([[-0.68201065...
神经网络与深度学习理论教程二,tensorflow2.0教程,rnn
weeks
05-20 1111
*免责声明: 1\此方法仅提供参考 2\搬了其他博主的操作方法,以贴上路径. 3* 场景一:RNN循环神经网络 场景二:RNN的改进 场景三:seq2seq与attention机制 场景四:集束搜索 Beam Search 场景五:词嵌入与NLP 场景六:谷歌开源算力 场景七:高级主题-GAN/自动编码器/CappsuleNet . . . 场景一:RNN循环神经网络 参考课程一: 参考课程二: 1.1 前导 1.2 序列表示法 在这里，我们可以利用h5的结果去分类效果要很
TensorFlow2：RNN、LSTM、GRU
pengchengIT的博客
06-05 695
TensorFlow2中keras框架下layer对象中封装了大量常见循环神经网络层，如keras.layer.SimpleRNN、keras.layer.RNNcell、keras.layer.LSTM、keras.layer.LSTMcell等等类，其中keras.layer.SimpleRnn、keras.layer.LSTM、keras.layer.GRU类就是我们常说的RNN、LSTM、GRU在TensorFlow2对应的函数，下面对几种循环神经网络的输入输出简单介绍 TensorFlow实现三种
tensorflow2.0(三)----循环神经网络(RNN)
weixin_43648821的博客
12-01 434
class DataLoader(): def __init__(self): path = tf.keras.utils.get_file('nietzsche.txt',origin='http://s3.amazonaws.com/text-data') with open(path,encoding='utf-8') as f: self.raw_text = f.read().lower() self.chars = sorted(list(set(self.raw_text)
Tensorflow2.0之时间序列预测
cocofisher的博客
03-09 1万+
文章目录项目介绍Tensorflow实现1、导入需要的库2、引入数据集3、划分特征和标签、建模预测3.1 用单变量预测一个未来时间点3.1.1 取出只含温度的数据集3.1.2 温度随时间变化绘图3.1.3 将数据集转换为数组类型3.1.4 标准化3.1.5 写函数来划分特征和标签3.1.6 从数据集中划分特征和标签3.1.7 设置绘图函数3.1.8 绘制第一个样本的特征和标签3.1.9 将特征和标...
RNN时间序列 代码实战
m0_67036766的博客
03-08 722
xt的维度[3,100]表示从时间维度输入x，也就是我们理解的一个单词一个单词的输入，符合我们日常的交流习惯。3表示同时输入三句话的第一个（t时刻的这一个），100表示一个单词由100维的向量表示。转化成代码语言就是，train的数据为f(t0)，label就是f(t1)，train的数据是f(t1)，label就是f(t2)，以此类推。x的维度[10,3,100] 表示一句话10个单词，一共3句话（3个batch），每个单词用100维的向量表示。t时刻的输出受到t时刻前每一时刻w参数的影响。
tensorflow2 rnn 时间序列
09-06
TensorFlow 2中的递归神经网络（RNN）是一种强大的模型，可用于处理时间序列数据。时间序列数据是按照时间顺序排列的数据集，比如股票价格、天气预报或语音识别等。 TensorFlow 2中的RNN模块提供了多种类型的RNN...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值