机器学习实战——成品油价格预测

已于 2025-01-07 17:07:57 修改
阅读量1k 收藏 23
点赞数 33
分类专栏： 源码分享 文章标签： 机器学习 人工智能
于 2024-12-25 11:06:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53891182/article/details/144703994
版权

成品油价格预测

2024成品油价格预测

在成品油价格预测的研究中，数据的时间范围对模型的准确性与可靠性具有重要影响。考虑到2015年全球油价出现了大幅下跌、2020年到2023年，COVID-19疫情的爆发对全球经济、能源需求以及油价波动产生了深远的影响。基于上述考虑，预测2024年成品油价时选择2016年至2019年四年期间的数据作为模型的训练集。此段时间的数据较为稳定，未受极端油价波动或疫情等异常因素的影响，能够较为真实地反映常规经济环境下的成品油价格波动情况。

1.数据收集与处理

笔者选取了如下特征值：

  1. 国际原油价格    # 数据来源：https://www.eia.gov/dnav/pet/hist/RWTCD.htm                                                       https://www.eia.gov/dnav/pet/hist/RBRTED.htm
  2. 国内原油进口量  # 数据来源：国家统计局 国家海关总署 国家数据
    (2024年1-2月进口量8831，对官方合并后的数据采取估值[未采取机器学习中对缺失值使用的方法] 17年数据因多平台数据不一致可能存在误差)
  3. 汇率       # 数据来源：央行 (由于休息日没有汇率，故采用上一个工作日的数据)
  4. 历史油价    # 数据来源：发改委 题中数据与发改委数据一致

2.模型选择

LSTM（长短期记忆网络）具备学习长时间序列依赖的能力，独特设计使其能够在语音识别、机器翻译以及时间序列预测等任务中表现优异。而LSTM能够捕捉到时间序列中的非线性关系，这种非线性建模对受到多种因素影响（尤其是时间）的成品油价格进行预测有着很高的准确性。故选择长短期记忆网络作为机器学习模型。

3.代码编写

同时预测汽油和柴油的代码如下：

#!/usr/bin/python3
# -*- coding:utf-8 -*-
# @author  : xiao6ming6
# @time    : 2024/12/22 18:27
# @function: the script is used to do predict oil prices
# @version : V1
import pandas as pd
from sklearn.preprocessing import MinMaxScaler
from keras.models import Sequential # 部分版本要加src from keras.src.models import Sequential
from keras.layers import LSTM, Dense, Input # 部分版本 from keras.src.layers import LSTM, Dense, Input
import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 使用黑体
plt.rcParams['axes.unicode_minus'] = False  # 正常显示负号

# 加载数据
train_df = pd.read_excel('data.xlsx', sheet_name='训练集')
test_df = pd.read_excel('data.xlsx', sheet_name='测试集')

# 数据预处理
scaler = MinMaxScaler(feature_range=(0, 1)) # 特征缩放
scaled_train = scaler.fit_transform(train_df.drop(columns=['调整日期']))
scaled_test = scaler.transform(test_df.drop(columns=['调整日期']))

# 函数用于创建时间序列数据集
def create_dataset(dataset, look_back=1): # 设置滑动窗口为1
    dataX, dataY = [], []
    for i in range(len(dataset)-look_back-1):
        a = dataset[i:(i+look_back), :]
        dataX.append(a)
        dataY.append(dataset[i + look_back, :2])  # 预测汽油和柴油价格
    return np.array(dataX), np.array(dataY)

look_back = 1
trainX, trainY = create_dataset(scaled_train, )
testX, testY = create_dataset(scaled_test, )

# 转换为LSTM输入格式 [样本数, 时间步长, 特征数]
trainX = np.reshape(trainX, (trainX.shape[0], 1, trainX.shape[2]))
testX = np.reshape(testX, (testX.shape[0], 1, testX.shape[2]))

# 构建LSTM模型
model = Sequential()
model.add(Input(shape=(1, trainX.shape[2])))
model.add(LSTM(50))
model.add(Dense(2))  # 输出两个预测值：汽油和柴油价格
model.compile(loss='mean_squared_error', optimizer='adam')

# 训练模型 verbose=0：不显示训练过程。verbose=1：显示进度条。verbose=2：每个 epoch 输出一行日志，显示当前 epoch 的训练进度和损失值
history = model.fit(trainX, trainY, epochs=100, batch_size=1, verbose=2) # 100轮 1个样本每次

# 预测
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)

# 反向转换预测值 将数据从标准化空间转换回原始数值范围
trainPredict = scaler.inverse_transform(np.concatenate((trainPredict, np.zeros((trainPredict.shape[0], scaled_train.shape[1]-2))), axis=1))[:, :2]
testPredict = scaler.inverse_transform(np.concatenate((testPredict, np.zeros((testPredict.shape[0], scaled_train.shape[1]-2))), axis=1))[:, :2]

# 绘制汽油价格的训练集和测试集的结果
plt.figure(figsize=(15, 10))

# 汽油训练集结果
train_dates = train_df['调整日期'][look_back:-1]  # 调整日期索引，使其与预测值长度一致
plt.subplot(3, 1, 1)
plt.plot(train_dates, trainPredict[:, 0], label='训练集预测汽油价格')
plt.plot(train_dates, train_df['成品油价格(汽油)'][look_back:-1], label='训练集实际汽油价格')
plt.title('汽油价格预测（训练集）')
plt.xlabel('日期')
plt.ylabel('价格')
plt.legend()

# 汽油测试集结果
test_dates = test_df['调整日期'][look_back:-1]  # 调整日期索引，使其与预测值长度一致
plt.subplot(3, 1, 2)
plt.plot(test_dates, testPredict[:, 0], label='测试集预测汽油价格')
plt.plot(test_dates, test_df['成品油价格(汽油)'][look_back:-1], label='测试集实际汽油价格')
plt.title('汽油价格预测（测试集）')
plt.xlabel('日期')
plt.ylabel('价格')
plt.legend()

# 训练损失曲线
plt.subplot(3, 1, 3)
plt.plot(history.history['loss'], label='训练损失')
plt.title('训练损失曲线')
plt.xlabel('轮次')
plt.ylabel('损失')
plt.legend()

plt.tight_layout()
plt.show()

# 绘制柴油价格的训练集和测试集的结果
plt.figure(figsize=(15, 10))

# 柴油训练集结果
plt.subplot(3, 1, 1)
plt.plot(train_dates, trainPredict[:, 1], label='训练集预测柴油价格')
plt.plot(train_dates, train_df['成品油价格(柴油)'][look_back:-1], label='训练集实际柴油价格')
plt.title('柴油价格预测（训练集）')
plt.xlabel('日期')
plt.ylabel('价格')
plt.legend()

# 柴油测试集结果
plt.subplot(3, 1, 2)
plt.plot(test_dates, testPredict[:, 1], label='测试集预测柴油价格')
plt.plot(test_dates, test_df['成品油价格(柴油)'][look_back:-1], label='测试集实际柴油价格')
plt.title('柴油价格预测（测试集）')
plt.xlabel('日期')
plt.ylabel('价格')
plt.legend()

# 训练损失曲线
plt.subplot(3, 1, 3)
plt.plot(history.history['loss'], label='训练损失')
plt.title('训练损失曲线')
plt.xlabel('轮次')
plt.ylabel('损失')
plt.legend()

plt.tight_layout()
plt.show()

应粉丝要求，只预测汽油的代码如下：

#!/usr/bin/python3
# -*- coding:utf-8 -*-
# @author  : xiao6ming6
# @time    : 2024/12/24 17:40
# @function: the script is used to predict gasoline prices
# @version : V2
import pandas as pd
from sklearn.preprocessing import MinMaxScaler
from keras.src.models import Sequential
from keras.src.layers import LSTM, Dense, Input
import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 使用黑体
plt.rcParams['axes.unicode_minus'] = False  # 正常显示负号

# 加载数据
train_df = pd.read_excel('data.xlsx', sheet_name='训练集')
test_df = pd.read_excel('data.xlsx', sheet_name='测试集')

# 数据预处理
scaler = MinMaxScaler(feature_range=(0, 1))  # 特征缩放
scaled_train = scaler.fit_transform(train_df.drop(columns=['调整日期']))
scaled_test = scaler.transform(test_df.drop(columns=['调整日期']))

# 函数用于创建时间序列数据集
def create_dataset(dataset, look_back=1):  # 设置滑动窗口为1
    dataX, dataY = [], []
    for i in range(len(dataset) - look_back - 1):
        a = dataset[i:(i + look_back), :]
        dataX.append(a)
        dataY.append(dataset[i + look_back, 0])  # 只预测汽油价格
    return np.array(dataX), np.array(dataY)

look_back = 1
trainX, trainY = create_dataset(scaled_train)
testX, testY = create_dataset(scaled_test)

# 转换为LSTM输入格式 [样本数, 时间步长, 特征数]
trainX = np.reshape(trainX, (trainX.shape[0], 1, trainX.shape[2]))
testX = np.reshape(testX, (testX.shape[0], 1, testX.shape[2]))

# 构建LSTM模型
model = Sequential()
model.add(Input(shape=(1, trainX.shape[2])))
model.add(LSTM(50))
model.add(Dense(1))  # 输出一个预测值：汽油价格
model.compile(loss='mean_squared_error', optimizer='adam')

# 训练模型
history = model.fit(trainX, trainY, epochs=100, batch_size=1, verbose=2)

# 预测
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)

# 反向转换预测值
trainPredict = scaler.inverse_transform(
    np.concatenate((trainPredict, np.zeros((trainPredict.shape[0], scaled_train.shape[1] - 1))), axis=1)
)[:, 0]
testPredict = scaler.inverse_transform(
    np.concatenate((testPredict, np.zeros((testPredict.shape[0], scaled_train.shape[1] - 1))), axis=1)
)[:, 0]

# 绘图
plt.figure(figsize=(15, 10))

# 汽油训练集结果
train_dates = train_df['调整日期'][look_back:-1]  # 调整日期索引，使其与预测值长度一致
plt.subplot(2, 1, 1)
plt.plot(train_dates, trainPredict, label='训练集预测汽油价格')
plt.plot(train_dates, train_df['成品油价格(汽油)'][look_back:-1], label='训练集实际汽油价格')
plt.title('汽油价格预测（训练集）')
plt.xlabel('日期')
plt.ylabel('价格')
plt.legend()

# 汽油测试集结果
test_dates = test_df['调整日期'][look_back:-1]  # 调整日期索引，使其与预测值长度一致
plt.subplot(2, 1, 2)
plt.plot(test_dates, testPredict, label='测试集预测汽油价格')
plt.plot(test_dates, test_df['成品油价格(汽油)'][look_back:-1], label='测试集实际汽油价格')
plt.title('汽油价格预测（测试集）')
plt.xlabel('日期')
plt.ylabel('价格')
plt.legend()

plt.tight_layout()
plt.show()

只预测柴油价格的代码如下：

#!/usr/bin/python3
# -*- coding:utf-8 -*-
# @author  : xiao6ming6
# @time    : 2024/12/24 18:25
# @function: the script is used to predict diesel prices
# @version : V2
import pandas as pd
from sklearn.preprocessing import MinMaxScaler
from keras.src.models import Sequential
from keras.src.layers import LSTM, Dense, Input
import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']  # 使用黑体
plt.rcParams['axes.unicode_minus'] = False  # 正常显示负号

# 加载数据
train_df = pd.read_excel('data.xlsx', sheet_name='训练集')
test_df = pd.read_excel('data.xlsx', sheet_name='测试集')

# 数据预处理
scaler = MinMaxScaler(feature_range=(0, 1))  # 特征缩放
scaled_train = scaler.fit_transform(train_df.drop(columns=['调整日期']))
scaled_test = scaler.transform(test_df.drop(columns=['调整日期']))

# 函数用于创建时间序列数据集
def create_dataset(dataset, look_back=1):  # 设置滑动窗口为1
    dataX, dataY = [], []
    for i in range(len(dataset) - look_back - 1):
        a = dataset[i:(i + look_back), :]
        dataX.append(a)
        dataY.append(dataset[i + look_back, 1])  # 只预测柴油价格
    return np.array(dataX), np.array(dataY)

look_back = 1
trainX, trainY = create_dataset(scaled_train)
testX, testY = create_dataset(scaled_test)

# 转换为LSTM输入格式 [样本数, 时间步长, 特征数]
trainX = np.reshape(trainX, (trainX.shape[0], 1, trainX.shape[2]))
testX = np.reshape(testX, (testX.shape[0], 1, testX.shape[2]))

# 构建LSTM模型
model = Sequential()
model.add(Input(shape=(1, trainX.shape[2])))
model.add(LSTM(50))
model.add(Dense(1))  # 输出一个预测值：柴油价格
model.compile(loss='mean_squared_error', optimizer='adam')

# 训练模型
history = model.fit(trainX, trainY, epochs=100, batch_size=1, verbose=2)

# 预测
trainPredict = model.predict(trainX)
testPredict = model.predict(testX)

# 反向转换预测值
trainPredict = scaler.inverse_transform(
    np.concatenate((np.zeros((trainPredict.shape[0], 1)), trainPredict, np.zeros((trainPredict.shape[0], scaled_train.shape[1] - 2))), axis=1)
)[:, 1]
testPredict = scaler.inverse_transform(
    np.concatenate((np.zeros((testPredict.shape[0], 1)), testPredict, np.zeros((testPredict.shape[0], scaled_train.shape[1] - 2))), axis=1)
)[:, 1]

# 绘图
plt.figure(figsize=(15, 10))

# 柴油训练集结果
train_dates = train_df['调整日期'][look_back:-1]  # 调整日期索引，使其与预测值长度一致
plt.subplot(2, 1, 1)
plt.plot(train_dates, trainPredict, label='训练集预测柴油价格')
plt.plot(train_dates, train_df['成品油价格(柴油)'][look_back:-1], label='训练集实际柴油价格')
plt.title('柴油价格预测（训练集）')
plt.xlabel('日期')
plt.ylabel('价格')
plt.legend()

# 柴油测试集结果
test_dates = test_df['调整日期'][look_back:-1]  # 调整日期索引，使其与预测值长度一致
plt.subplot(2, 1, 2)
plt.plot(test_dates, testPredict, label='测试集预测柴油价格')
plt.plot(test_dates, test_df['成品油价格(柴油)'][look_back:-1], label='测试集实际柴油价格')
plt.title('柴油价格预测（测试集）')
plt.xlabel('日期')
plt.ylabel('价格')
plt.legend()

plt.tight_layout()
plt.show()

4.预测及泛化效果

4.1同时预测效果：

汽油价格预测
柴油价格预测

4.2单独预测效果

汽油
柴油

5.改进方向

5.1模型改进方向

扩展数据来源： 加强对节假日、季节性变化、政策调控等因素的搜集和量化分析，以增强模型对复杂环境的适应能力。
改进模型： 结合其他时间序列预测模型（如GRU、Transformer等），探索模型集成或混合建模的策略，充分利用不同模型的优势以提高预测性能。
异常波动处理： 通过引入异常检测机制或采用数据增强技术，丰富模型对高波动时期的学习能力，减少预测误差。建立实时数据更新与模型反馈机制，以便快速适应市场环境的变化，进一步提高预测的时效性和可靠性。

5.2代码改进方向

加入相关指标： 在使用模型预测后加入准确率，MSE，R2 等指标进一步解释模型性能
避免过拟合： 加入正则化、早停、数据增强等方法处理可能因过于复杂的架构或不足的训练数据而出现过拟合问题，使用交叉验证检查模型的泛化能力。

附录

文中所用数据：https://xiao6ming6.lanzoub.com/ihRAN2izaech
参考文档(简略版)：https://xiao6ming6.lanzoub.com/iZkXw2izaebg

版权声明

本文为原创内容，版权归作者所有。未经作者明确许可，禁止转载、引用或用于商业用途。

如需转载或使用，请联系作者获取授权。

版权所有 xiao6ming6 © 2024

【数据挖掘竞赛】——降低汽油精制过程中的辛烷值损失模型(二)
lingxw的博客
10-05 2062
汽油的实际精制生产工序十分繁琐，可操作位点繁多，而不同操作位点之间可能存在着某些相关性质，例如装置内部温度的变化可能会导致装置内部压力的变化。同时也存在 一些与汽油成品质量相关性不大的常规操作变量。为了降低后续数据处理过程中所消耗的计算资源，需要对354个操作变量进行筛选，使得筛选出的操作变量最具代表性，与目标输出指标的相关程度高。数据来源：原始数据采集来源于中石化高桥石化实时数据库(霍尼韦尔 PHD)及 LIMS 实验数据库。
嵌入式工程师成长之路（3）——PCB设计
热门推荐
云轩阁
01-26 7万+
带有目的的学：要知道，PCB板子做出来需要我们给厂家哪些东西，我们设计板子的时候，需要遵循哪些设计规范，防止画好也是块废板子。然后再逐步开始学习画板。
LSTM 原油价格预测实战 多模型对比 完整代码数据
07-23 531
LSTM 原油价格预测实战 多模型对比 完整代码数据
爬取石油价格数据
回到原点
06-11 1万+
石油价格数据爬取-全国
Python数据分析案例50——基于EEMD-LSTM的石油价格预测
weixin_46277779的博客
07-06 2805
时间序列预测，lstm和加了模态分解eemd-lst预测效果对比
多元线性回归matlab代码例题_matlab多元线性回归
weixin_39697143的博客
12-21 3120
1.matlab多元回归示例如下：解决问题：油价预测方法：多元线性回归实现：matlab regress()函数技巧：通过增加X1^2，X2^2，或者X1*X2等构造的特征项，可以提高回归模型的拟合准确度；但计算代价增大。function result=reg_new_month(XX1_bu,YYnum)y=YYnum;a=XX1_bu; %由于alldata_pca已经进行归一化了；...
机器学习（11）——时间序列分析
WHJ226的博客
06-26 1万+
时间序列数据是常见的数据类型之一,时间序列分析基于随机过程理论和数理统计学方法,研 究时间序列数据所遵从的统计规律,常用于系统描述、系统分析、预测未来等。 时间序列数据主要是根据时间先后,对同样的对象按照等时间间隔收集的数据,比如每日的平 均气温、每天的销售额、每月的降水量等。虽然有些序列所描述的内容取值是连续的,比如气温的 变化可能是连续的,但是由于观察的时间段并不是连续的,所以可以认为是离散的时间序列数据。 一般地,对任何变量做定期记录就能构成一个时间序列。根据所研究序列数量的不同,可以将时间 序列数据
机器学习实战——决策树.zip
04-25
在“机器学习实战——决策树”这个主题中，我们将深入探讨决策树的基本概念、工作原理、优缺点以及如何在实际问题中应用。 决策树的核心思想是通过一系列的“如果-那么”规则来做出预测，这些规则可以直观地表示为...
Python3数据分析与机器学习实战——课后习题答案
11-12
在本资源中，“Python3数据分析与机器学习实战——课后习题答案”涵盖了多个章节的练习题解答，包括了从基础到进阶的Python数据分析和机器学习应用。这些章节包括了从基础知识到复杂算法的广泛内容，对于学习者来说...
机器学习实战项目——决策树&随机森林&时间序列预测股价.zip
04-11
在这个名为“机器学习实战项目——决策树&随机森林&时间序列预测股价.zip”的压缩包中，包含了一系列关于机器学习的应用，特别是聚焦于决策树、随机森林以及时间序列预测在股票价格预测上的应用。以下是这些技术的...
JCRQ1河马算法+消融实验！HO-CNN-LSTM-Attention系列四模型多变量时序预测，作者：机器学习之心
CSDN博主《机器学习之心》（IP：广东）小助手的博客
04-30 265
JCRQ1河马算法+消融实验！HO-CNN-LSTM-Attention系列四模型多变量时序预测，作者：机器学习之心
AI编程案例拆解|基于机器学习XX评分系统-后端篇
qq_42320804的博客
04-26 814
AI编程案例拆解|基于机器学习XX评分系统-后端篇
【机器学习-线性回归-4】线性回归中的最优解：从数学原理到实践应用
weixin_39033358的博客
04-27 1341
什么是最优解？在线性回归中，最优解指的是能够最小化预测值与真实值之间差异的参数组合。损失函数其中m是样本数量。我们的目标就是找到使J(w)最小的w。解析解（闭式解）对于普通最小二乘回归(OLS)，最优解可以通过正规方程(Normal Equation)直接求得：无偏性：E[w*] = w_true最小方差：在所有线性无偏估计量中方差最小（高斯-马尔可夫定理）几何解释从几何角度看，线性回归的最优解是在特征空间中找到的能够最小化残差向量长度的投影。Xw*实际上是y在X列空间上的正交投影。
《机器学习中的过拟合与模型复杂性：理解与应对策略》
最新发布
青蛙博客
04-30 587
在机器学习中，过拟合是模型在训练数据上表现良好但在新数据上泛化能力差的现象。本文深入探讨了过拟合与模型复杂性之间的关系，分析了复杂模型导致过拟合的原因，并介绍了正则化技术（如 L1 和 L2 正则化）如何通过惩罚复杂模型来改善模型的泛化能力。通过具体实例，本文展示了如何在实际机器学习项目中平衡模型的复杂性和泛化能力，为机器学习实践者提供了实用的指导。
机器学习中的标签策略：直接标签、代理标签与人工数据生成
青蛙博客
04-28 987
本文深入探讨了机器学习领域中标签的关键概念，包括直接标签与代理标签的定义、优缺点比较，以及人工生成数据的相关内容。通过详细实例和练习，帮助读者理解如何选择合适的标签类型和数据生成方式，从而优化机器学习模型的性能和准确性。文章强调了标签质量对模型训练的重要性，并提供了实践建议以确保数据质量和模型有效性。
机器学习之二：指导式学习
搏博的专栏
04-27 1004
这种学习方式如同学生在教师的明确指导下学习，训练数据中的标签（如分类类别、回归目标值）相当于教师提供的“标准答案”，模型通过分析这些“例题”与“答案”的对应关系，掌握解决问题的能力。指导式学习作为机器学习的基石，其理论和方法将持续演进，与无监督学习、强化学习深度融合，推动人工智能从“有监督的专项智能”向“自主学习的通用智能”迈进。4）数据集划分：将数据分为训练集（80%）、验证集（10%）、测试集（10%），用于模型选择和泛化能力评估。正如人们有各种各样的学习方法一样，机器学习也有多种学习方法。
机器学习（9）——随机森林
jiaomongjun的博客
04-25 1157
它通过构建多个决策树（Decision Tree），并通过集成学习的思想，最终输出多个决策树的结果的平均值或多数投票结果，从而提高模型的准确性和稳定性。随机森林的核心思想是通过构建多个决策树，并结合它们的结果来进行预测。决策树继续生长，直到满足一定条件（例如，树的深度达到预设的最大值，或者节点的样本数小于某个阈值）为止。随机选择特征：在每个决策树的每个节点，选择一个随机的特征子集来进行分裂，而不是使用所有特征。在每个节点的划分时，随机选择一个特征子集，而不是使用所有特征，从而减少不同决策树之间的相关性。
机器学习实战：波士顿房价预测——岭回归分析
在这个案例中，我们关注的是如何使用机器学习来预测波士顿地区的房价。波士顿房价数据集是一个经典的数据集，常被用于教学和研究目的，它包含了1978年波士顿郊区15个特征（如犯罪率、学生教师比例等）和相应的房价中...
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值