基于TensorFlow2.0利用LSTM框架进行实时预测价格

已于 2022-02-18 11:50:18 修改
阅读量5.3k 收藏 88
点赞数 9
分类专栏： 数据分析（Python） 文章标签： 数据分析 深度学习
于 2020-06-23 16:45:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45092662/article/details/106924107
版权

基于TensorFlow-gpu2.0，利用LSTM框架进行实时预测比特币价格

利用kaggle给的数据集，链接：https://www.kaggle.com/mczielinski/bitcoin-historical-data#coinbaseUSD_1-min_data_2014-12-01_to_2019-01-09.csv

下载数据集后，解压，利用coinbaseUSD_1-min_data_2014-12-01_to_2019-01-09.csv文件

刚开始使用cpu跑的代码，CPU使用率为100%，内存也达到了15G，所以这次把代码改良了，采用GPU（GTX 1080Ti）跑，基本CPU32%，GPU12%，内存6G

比特币的价格数据是基于时间序列的，因此比特币的价格预测大多采用LSTM模型来实现。
长期短期记忆（LSTM）是一种特别适用于时间序列数据（或具有时间 / 空间 / 结构顺序的数据，例如电影、句子等）的深度学习模型，是预测加密货币的价格走向的理想模型。

在对应的conda环境中打开jupyter notebook，新建一个ipynb文件，然后输入下面代码。

import需要使用的库

import pandas as pd
import numpy as np
import tensorflow as tf

from sklearn.preprocessing import MinMaxScaler, LabelEncoder
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense, Dropout

from matplotlib import pyplot as plt
%matplotlib inline

数据加载

raw_data = pd.read_csv("coinbaseUSD_1-min_data_2014-12-01_to_2019-01-09.csv")

查看原始数据

raw_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 2099760 entries, 0 to 2099759
Data columns (total 8 columns):
 #   Column             Dtype  
---  ------             -----  
 0   Timestamp          int64  
 1   Open               float64
 2   High               float64
 3   Low                float64
 4   Close              float64
 5   Volume_(BTC)       float64
 6   Volume_(Currency)  float64
 7   Weighted_Price     float64
dtypes: float64(7), int64(1)
memory usage: 128.2 MB

在的数据一共有2099760条，数据由Timestamp、Open、High、Low、Close、Volume_(BTC)、Volume_(Currency)、Weighted_Price这几列组成。其中除去Timestamp列以外，其余的数据列都是float64数据类型。

现在查看前10行数据

raw_data.head(10)
TimestampOpenHighLowCloseVolume_(BTC)Volume_(Currency)Weighted_Price
01417411980300.0300.0300.0300.00.013.0300.0
11417412040NaNNaNNaNNaNNaNNaNNaN
21417412100NaNNaNNaNNaNNaNNaNNaN
31417412160NaNNaNNaNNaNNaNNaNNaN
41417412220NaNNaNNaNNaNNaNNaNNaN
51417412280NaNNaNNaNNaNNaNNaNNaN
61417412340NaNNaNNaNNaNNaNNaNNaN
71417412400300.0300.0300.0300.00.013.0300.0
81417412460NaNNaNNaNNaNNaNNaNNaN
91417412520NaNNaNNaNNaNNaNNaNNaN

删除包含NaN值的任何行，把处理后的数据给data

# 删除包含NaN值的任何行
data = raw_data.dropna(axis = 0)

data.head(10)
TimestampOpenHighLowCloseVolume_(BTC)Volume_(Currency)Weighted_Price
01417411980300.00300.0300.00300.00.0100003.00000300.000000
71417412400300.00300.0300.00300.00.0100003.00000300.000000
511417415040370.00370.0370.00370.00.0100003.70000370.000000
771417416600370.00370.0370.00370.00.0265569.82555370.000000
14361417498140377.00377.0377.00377.00.0100003.77000377.000000
17661417517940377.75378.0377.75378.04.0000001511.93750377.984375
17711417518240378.00378.0378.00378.04.9000001852.20000378.000000
17721417518300378.00378.0378.00378.05.2000001965.60000378.000000
22301417545780378.00378.0378.00378.00.10000037.80000378.000000
22451417546680378.00378.0378.00378.00.793600299.98080378.000000

先查看下数据是否含有nan的数据，可以看到我们的数据中没有nan的数据

data.isnull().sum()

Timestamp            0
Open                 0
High                 0
Low                  0
Close                0
Volume_(BTC)         0
Volume_(Currency)    0
Weighted_Price       0
dtype: int64

可以看出现在已经没有NaN的数据了

再查看下0数据，可以看到我们的数据中含有0值，我们需要对0值做下处理

(data == 0).astype(int).any()

Timestamp            False
Open                 False
High                 False
Low                  False
Close                False
Volume_(BTC)         False
Volume_(Currency)    False
Weighted_Price       False
dtype: bool

处理0数据的方式是使用上个列值进行前向填充

data['Weighted_Price'].replace(0, np.nan, inplace=True)
data['Weighted_Price'].fillna(method='ffill', inplace=True)
data['Open'].replace(0, np.nan, inplace=True)
data['Open'].fillna(method='ffill', inplace=True)
data['High'].replace(0, np.nan, inplace=True)
data['High'].fillna(method='ffill', inplace=True)
data['Low'].replace(0, np.nan, inplace=True)
data['Low'].fillna(method='ffill', inplace=True)
data['Close'].replace(0, np.nan, inplace=True)
data['Close'].fillna(method='ffill', inplace=True)
data['Volume_(BTC)'].replace(0, np.nan, inplace=True)
data['Volume_(BTC)'].fillna(method='ffill', inplace=True)
data['Volume_(Currency)'].replace(0, np.nan, inplace=True)
data['Volume_(Currency)'].fillna(method='ffill', inplace=True)

E:\360Anaconda\envs\tf2.1\lib\site-packages\pandas\core\generic.py:6746: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  self._update_inplace(new_data)
E:\360Anaconda\envs\tf2.1\lib\site-packages\pandas\core\generic.py:6245: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  self._update_inplace(new_data)

(data == 0).astype(int).any()

Timestamp            False
Open                 False
High                 False
Low                  False
Close                False
Volume_(BTC)         False
Volume_(Currency)    False
Weighted_Price       False
dtype: bool

再看下数据的分布跟走势，这个时候曲线已经非常的连续

plt.plot(data['Weighted_Price'], label='Price')
plt.ylabel('Price')
plt.legend()
plt.show()

在这里插入图片描述

训练数据集和测试数据集划分

将数据归一化到0-1

data_set = data.drop('Timestamp', axis=1).values
data_set = data_set.astype('float32')
mms = MinMaxScaler(feature_range=(0, 1))
data_set = mms.fit_transform(data_set)

以2:8划分测试数据集跟训练数据集

ratio = 0.8
train_size = int(len(data_set) * ratio)
test_size = len(data_set) - train_size
train, test = data_set[0:train_size,:], data_set[train_size:len(data_set),:]

创建训练数据集跟测试数据集，以1天作为窗口期来创建我们的训练数据集跟测试数据集。

def create_dataset(data):
    window = 1
    label_index = 6
    x, y = [], []
    for i in range(len(data) - window):
        x.append(data[i:(i + window), :])
        y.append(data[i + window, label_index])
    return np.array(x), np.array(y)

train_x, train_y = create_dataset(train)
test_x, test_y = create_dataset(test)

loss为平均绝对误差（Mean Absolute Error，MAE）

def create_model():
    model = Sequential()
    model.add(LSTM(50, input_shape=(train_x.shape[1], train_x.shape[2])))
    model.add(Dense(1))
    model.compile(loss='mae', optimizer='adam')
    model.summary()
    return model

model = create_model()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
lstm (LSTM)                  (None, 50)                11600     
_________________________________________________________________
dense (Dense)                (None, 1)                 51        
=================================================================
Total params: 11,651
Trainable params: 11,651
Non-trainable params: 0
_________________________________________________________________

这里节约时间，只训练20代，利用tensorflow-gpu=2.x，其中也有Keras，使用GPU训练，会更快

history = model.fit(train_x, train_y, epochs=20, batch_size=64, validation_data=(test_x, test_y), verbose=1, shuffle=False)

Epoch 1/20
24884/24884 [==============================] - 76s 3ms/step - loss: 0.0017 - val_loss: 0.0303
Epoch 2/20
24884/24884 [==============================] - 76s 3ms/step - loss: 0.0014 - val_loss: 0.0188
Epoch 3/20
24884/24884 [==============================] - 76s 3ms/step - loss: 0.0011 - val_loss: 0.0135
Epoch 4/20
24884/24884 [==============================] - 76s 3ms/step - loss: 0.0012 - val_loss: 0.0145
Epoch 5/20
24884/24884 [==============================] - 76s 3ms/step - loss: 0.0011 - val_loss: 0.0128
Epoch 6/20
24884/24884 [==============================] - 77s 3ms/step - loss: 0.0011 - val_loss: 0.0136
Epoch 7/20
24884/24884 [==============================] - 77s 3ms/step - loss: 0.0011 - val_loss: 0.0135
Epoch 8/20
24884/24884 [==============================] - 76s 3ms/step - loss: 9.6527e-04 - val_loss: 0.0102
Epoch 9/20
24884/24884 [==============================] - 76s 3ms/step - loss: 8.4701e-04 - val_loss: 0.0083
Epoch 10/20
24884/24884 [==============================] - 76s 3ms/step - loss: 7.4637e-04 - val_loss: 0.0066
Epoch 11/20
24884/24884 [==============================] - 76s 3ms/step - loss: 6.7190e-04 - val_loss: 0.0059
Epoch 12/20
24884/24884 [==============================] - 76s 3ms/step - loss: 5.7592e-04 - val_loss: 0.0050
Epoch 13/20
24884/24884 [==============================] - 76s 3ms/step - loss: 5.3660e-04 - val_loss: 0.0053
Epoch 14/20
24884/24884 [==============================] - 76s 3ms/step - loss: 5.3742e-04 - val_loss: 0.0050
Epoch 15/20
24884/24884 [==============================] - 76s 3ms/step - loss: 5.2245e-04 - val_loss: 0.0053
Epoch 16/20
24884/24884 [==============================] - 76s 3ms/step - loss: 4.8314e-04 - val_loss: 0.0046
Epoch 17/20
24884/24884 [==============================] - 76s 3ms/step - loss: 4.8415e-04 - val_loss: 0.0054
Epoch 18/20
24884/24884 [==============================] - 76s 3ms/step - loss: 4.7891e-04 - val_loss: 0.0053
Epoch 19/20
24884/24884 [==============================] - 77s 3ms/step - loss: 4.6439e-04 - val_loss: 0.0048
Epoch 20/20
24884/24884 [==============================] - 76s 3ms/step - loss: 4.4422e-04 - val_loss: 0.0044

plt.plot(history.history['loss'], label='train')
plt.plot(history.history['val_loss'], label='test')
plt.legend()
plt.show()

在这里插入图片描述

train_x, train_y = create_dataset(train)
test_x, test_y = create_dataset(test)

预测

predict = model.predict(test_x)
plt.plot(predict, label='predict')
plt.plot(test_y, label='ground true')
plt.legend()
plt.show()

在这里插入图片描述

这只是作为数据分析的一个学习例子使用。
代码放在我的码云里，链接https://gitee.com/rengarwang/LSTM-forecast-price

爱听许嵩歌
关注
  • 9
    点赞
  • 踩
  • 88
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【深度学习 走进tensorflow2.0】建立一个递归神经网络（LSTM）对MNIST数字集进行分类
赖德发的博客
12-14 1758
大家都知道卷积神经网络可以用来做图片分类，那么循环神经网络可不可以同样用来做图片分类呢，答案是可以滴，下面我们使用TensorFlow 2.0构建循环神经网络LSTM，一起从minist 学习下吧。 数据集特点： 该数据集包含60,000个用于训练的示例和10,000个用于测试的示例。这些数字已经过尺寸标准化并位于图像中心，图像是固定大小(28x28像素)，值为0到255。为简单起见，每个图像都被...
Tensorflow 2.0 LSTM训练模型
XH生信和机器学习空间
01-29 4038
说到lstm之前需要说一下循环神经网络（Recurrent Neural Network，RNN）， RNN是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据，特别是时间序列数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。 但RNN有个关键问题，在处理长序列后面时出现梯度消失和梯度爆炸的问题，lstm正好解决了这个问题...
数据挖掘实战-基于长短期记忆网络（LSTM）的黄金价格预测模型 | 97% 准确度
最新发布
m0_64336780的博客
06-04 1万+
本实验基于Kaggle上提供的从2013年到2023年的黄金价格数据集，运用长短期记忆网络（LSTM）构建了黄金价格预测模型。该数据集详细记录了每日的黄金价格信息，包括开盘价、收盘价、高点、低点和交易量等，为模型的训练提供了丰富的数据支持。
tensorflow下用LSTM网络进行时间序列预测
热门推荐
真梦行路的博客
08-27 2万+
引言： 最近，一直在看关于时间序列预测这一方面的东西。在这里总结一下： 1.时间序列分析常用的模型有AR,MA,ARIMA,以及RNN和LSTM 2.大多数预测模型都能做时间序列分析（主要是如何将已知问题转化为带有时间戳的序列问题） 参考：如何将时间序列转换为Python中的监督学习问题（1） 3.我们常说的预测我总结出来有两层含义： （1）目前我查资料遇到最多的“预测”：实际上就是做...
Win10使用Anaconda安装Python工具包记录
expelliarmus9的博客
03-30 421
记录使用Anaconda安装Python工具包的各种小坑~
Tensorflow2.0学习笔记（六）LSTM
静谧、淡雅
03-30 1422
1 短时记忆 在处理较长的句子时，循环神经网络往往只能理解有限长度内的信息，而对于较长范围内的有用信息往往不能很好的利用起来。那么，能不能延长短时记忆，提高记忆力呢？——LSTM 2LSTM与基础的RNN对比 与基础的RNN对比，除了有一个状态向量ht,LSTM新增加了一个状态向量Ct,同时引入了门控（Gate）机制，通过门控单元来控制信息的遗忘和刷新。 基础的RNN： LS...
存储时空数据预测的相关模型，基于tensorflow 2.0 实现.zip
03-27
本项目"存储时空数据预测的相关模型，基于tensorflow 2.0 实现.zip"旨在探讨如何利用 TensorFlow 2.0 对时空数据进行建模和预测。 时空数据，通常涉及到地理空间信息与时间序列数据的结合，例如气象预报、交通流量...
10851496_GWolhnoKhHgPCiblYvtObtFMn_LSTM_LSTM时间序列_tensorflow2.0_时
10-01
在本文中，我们将深入探讨如何使用TensorFlow 2.0框架实现LSTM（长短期记忆网络）进行时间序列预测。LSTM是一种特殊的循环神经网络（RNN），特别适合处理序列数据，如时间序列数据，因为它能够捕捉长期依赖关系。 ...
TensorFlow2.0-Book:《 TensorFlow从零开始学》配书代码和资源
03-22
《TensorFlow从零开始学》是一本旨在帮助初学者深入理解和掌握TensorFlow 2.0这一强大深度学习框架的书籍。TensorFlow是由Google Brain团队开发的开源库，它支持高性能的数值计算，广泛应用于机器学习、人工智能和...
使用TensorFlow2.0中的Keras实现基于BiLSTM-CRF的NER.zip
04-03
通过以上步骤，我们可以利用TensorFlow 2.0和Keras实现一个高效的基于BiLSTM-CRF的命名实体识别系统。这个项目中的代码（位于"BiLSTM-CRF-NER-master"文件夹中）应该提供了完整的实现细节，包括数据加载、模型构建、...
基于TensorFlow2.0+循环神经网络的古诗生成器python源码+项目说明.zip
05-12
在本项目中，我们主要探讨的是如何利用TensorFlow2.0框架和循环神经网络（RNN）技术构建一个能够自动生成古诗的Python程序。这是一个典型的自然语言处理（NLP）任务，它涉及到深度学习、序列建模以及文本生成等多个...
利用TensorFlow构建LSTM对多维数据进行拟合
06-19
本程序利用TensorFlow构建一个简易LSTM模型，内含对多个常见激活函数的性能的比较过程，以及本程序的运行环境。
简单粗暴 TensorFlow 2.0.pdf
09-16
TensorFlow是由谷歌开发的一个开源的深度学习框架，主要应用于机器学习和人工智能领域。它允许用户构建和部署复杂的数学计算图，这些计算图可以用来表示各种机器学习模型，如神经网络。TensorFlow 2.0是其一个重要的...
基于Python TensorFlow 2.0 + RNN 实现一个古体诗生成器【100011344】
03-22
在本项目中，我们探索了如何利用Python编程语言结合TensorFlow 2.0框架和循环神经网络（RNN）技术来构建一个古体诗生成器。这个生成器不仅能够随机生成全新的古体诗，还能根据已有诗句进行续写，甚至创作藏头诗，...
TensorFlow LSTM 写诗代码与数据
04-26
标题中的“TensorFlow LSTM 写诗代码与数据”揭示了我们今天将深入探讨的主题：如何使用TensorFlow库中的长短期记忆网络（LSTM）来创作诗歌。LSTM是一种特殊的循环神经网络（RNN），在处理序列数据，如文本，语音等...
毕设&课设&项目&实训-深度学习入门开源书，基于TensorFlow 2.0案例实战。.zip
02-02
在这个“毕设&课设&项目&实训-深度学习入门开源书，基于TensorFlow 2.0案例实战”的压缩包中，你将找到一系列资源，帮助你入门并实践深度学习。 TensorFlow是由Google开发的一个开源库，它提供了强大的工具和API，...
Tensorflow 2 踩坑问题记录
SevenBerry的博客
03-03 4458
Tensorflow2 踩坑实录
anaconda 安装包 超时_Tensorflow安装anaconda3 python 3.5时出现“读取超时错误”
weixin_39755890的博客
12-22 495
我正在尝试安装tensorflow gpu使用Python3.6和Python3我遵循以下链接中的安装步骤https://www.tensorflow.org/install/install_windows1-我通过调用以下命令创建了一个名为tensorflow的conda环境：C:&gt；conda create-n tensorflow python=3.62-然后通过发出以下命令激活...
windows环境下anaconda+tensorflow+pycharm安装和配置过程
wuling129的专栏
08-20 2314
参考博文： 1、windows环境下tensorflow安装过程详解https://blog.csdn.net/laobai1015/article/details/84580243 我的私有博客anaconda+python安装过程 因为涉及到破*一直没通过 2、清华镜像网站：https://mirrors.tuna.tsinghua.edu.cn/tensorflow/windows/cpu/ 3、Tensorflow在win10下的安装（CPU版本）https://www.cnblogs...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值