[深度学习项目] - 时间序列预测 (4)

最新推荐文章于 2024-05-06 22:41:04 发布
最新推荐文章于 2024-05-06 22:41:04 发布
阅读量966 收藏 6
点赞数 1
分类专栏： 时间预测项目学习 文章标签： 深度学习 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/upr_rom/article/details/127177388
版权

Prophet 算法

  • 只需要有基本的建模知识即可
  • 有较强的可解释性和可视化支持
  • 能作为大部分时间序列预测的benchmark

模型结构： 关于时间的广义线性模型
y ( t ) = g ( t ) + s ( t ) + h ( t ) + ϵ t y(t)=g(t)+s(t)+h(t)+\epsilon_t y(t)=g(t)+s(t)+h(t)+ϵt​
其中，

  • g(t)表示趋势 trend，用分段线性函数 或者 逻辑斯蒂增长 （逻辑斯蒂增长 相对于 线性 会有上下界限） 函数拟合。
    g ( t ) = C 1 + e − k ( t − m ) g(t)=\frac{C}{1+e^{-k(t-m)}} g(t)=1+e−k(t−m)C​ ， C 表示上界 ； k表示增长/下降快慢； m表示增长/下降 最快的点。
    用户需要给出 C 和 分段的段数。

  • s(t)表示季节性 seasonality， 用傅里叶级数拟合。可以叠加多个季节性， 比如 weekly, yearly。 s = s 1 + s 2 s=s_1+s_2 s=s1​+s2​
    s ( t ) = ∑ n = 1 N [ a n c o s ( 2 π n t T ) + b n s i n ( 2 π n t T ) ] s(t)=\sum_{n=1}^N [a_ncos(\frac{2\pi nt}{T})+b_n sin(\frac{2\pi n t}{T})] s(t)=∑n=1N​[an​cos(T2πnt​)+bn​sin(T2πnt​)], T 表示周期长度 ， N表示阶数。 T表示了数据的周期性； N 表示了采用的傅里叶级数的最高阶数。 N越大，曲线本身的波动也越大，也越容易造成过拟合。

  • h(t)表示外部变量的影响 regressor，采用线性函数拟合。可以叠加多个外部变量，如节假日，温度，活动。
    h = w 1 h 1 + w 2 h 2 + … h=w_1 h_1 +w_2 h_2 +\dots h=w1​h1​+w2​h2​+… h(t)可以是连续变量，也可以是0-1量。

  • ϵ t \epsilon_t ϵt​表示模型残差，表示不可知的外部变量造成的影响。

import pandas as pd
import prophet
import matplotlib.pyplot as plt

df_sales = pd.read_csv("store_sales.csv",parse_dates=["week"])
df_prom = pd.read_csv("promotion_data.csv",parse_dates=["week"])
# print(df_sales.head(2))
# print(df_prom.head(2))

df_all = pd.merge(df_sales, df_prom, how="left")
df_all.fillna(0,inplace=True)

dept = 1

df_train = df_all[ (df_all["week"]<="2012-07-30")&
                   (df_all["store"]==1)&
                   (df_all["dept"]==dept)]
df_train.rename(columns={"week":"ds","sales":"y"},inplace=True)

df_test = df_all[ (df_all["week"]<="2012-08-06")&
                   (df_all["store"]==1)&
                   (df_all["dept"]==dept)]
df_test.rename(columns={"week":"ds","sales":"y"},inplace=True)


###### 年周期性
m = prophet.Prophet(yearly_seasonality=True)

####### add regressor
m.add_regressor("promotion_sales")

#####  TRAIN
m.fit(df_train)

######  fit previous data
df_fit = m.predict(df_train)

###### visualize
fig1 = m.plot_components(df_fit)
fig2 = m.plot(df_fit)
plt.show()

trend period regressor

prophet prediction
prophet 只能预测线性模型。

机器学习预测 (LightGBM)

  1. 通过滑动窗口获取 训练集，验证机，测试集
  2. 构建特征： 将最原始的特征 [ y 1 , x 1 , y 2 , x 2 , … , x T , y T , x T + 1 , x T + 2 , … , x T + h ] [y_1,x_1,y_2,x_2,\dots,x_T,y_T,x_{T+1},x_{T+2},\dots,x_{T+h}] [y1​,x1​,y2​,x2​,…,xT​,yT​,xT+1​,xT+2​,…,xT+h​] 进行处理
  • 将过去一段时间的特征进行聚合： 平均值，标准差，最大值，最小值 等等
  • 特定时间点的取值： 上一个时间点的x/y , 上一个周期的x/y, …
  • 时间序列的复合特征： 自相关性系数，STL分解的结果，差分
import pandas as pd
import prophet
import matplotlib.pyplot as plt

import lightgbm as lgb
from lightgbm.sklearn import LGBMRegressor

df_sales = pd.read_csv("store_sales.csv",parse_dates=["week"])
df_prom = pd.read_csv("promotion_data.csv",parse_dates=["week"])
# print(df_sales.head(2))
# print(df_prom.head(2))
#
df_all = pd.merge(df_sales, df_prom, how="left")
df_all.fillna(0,inplace=True)


#### lightgbm
df_samples = df_all[ (df_all["store"]==1)&
                     (df_all["dept"]==1)].sort_values("week")

###  construct features
feature_cols = []

### first feature:  last week
df_samples["sales_lw"] = df_samples["sales"].shift(1)
df_samples["promotion_lw"] = df_samples["promotion_sales"].shift(1)

feature_cols = feature_cols + ["sales_lw", "promotion_lw"]

#### second features:  last year
df_samples["sales_ly"] = df_samples["sales"].shift(52)
df_samples["promotion_ly"] = df_samples["promotion_sales"].shift(52)

feature_cols += ["sales_ly","promotion_ly"]

#### third features:  variances waiting for prediction
feature_cols = feature_cols + ["promotion_sales"]

#### keep the data that is not nan
for col in feature_cols:
    df_samples = df_samples[ ~df_samples[col].isna() ]

######### construct train data and test data
x_train = df_samples[df_samples["week"]<="2012-07-30"][feature_cols].values
y_train = df_samples[df_samples["week"]<="2012-07-30"]["sales"].values

x_test = df_samples[df_samples["week"]=="2012-08-06"][feature_cols].values
y_test = df_samples[df_samples["week"]=="2012-08-06"]["sales"].values

model = LGBMRegressor()
model.fit(x_train,y_train)

#### prediction
y_pred = model.predict(x_test)

print("actual data:",y_test)
print("prediction:",y_pred)

>>>16119.92
>>>16165.25781465

不同算法区别

特点ETSARIMAProphetLightGBM
是否适合短的时间序列YNNN
是否可解释YYYN
是否支持多条序列批量预测NNNY，多条线可以在一个model中
是否支持外部变量NNY，但只是线性变量Y

homework

使用Prophet 和 LightGBM算法 完成 之后所有时间的预测。

prophet

df_sales = pd.read_csv("store_sales.csv",parse_dates=["week"])
df_prom = pd.read_csv("promotion_data.csv",parse_dates=["week"])
# print(df_sales.head(2))
# print(df_prom.head(2))
#
df_all = pd.merge(df_sales, df_prom, how="left")
df_all.fillna(0,inplace=True)
#
dept = 1

print(df_all[ (df_all["store"]==1)&
        (df_all["dept"]==dept)] .sort_values(["week"]).tail(3))

test_date_begin = pd.to_datetime("2012-07-30")
test_date_end = pd.to_datetime("2012-10-22")

test_date = df_all[ (df_all["week"]>=test_date_begin)&
                    (df_all["week"]<=test_date_end)]["week"].unique()

predict_result = []
actual_result = []

print("total prediction num:", len(test_date))
print(test_date)



for i, every_test_date in enumerate(test_date):

    print("predicting: {}".format(i))

    df_train = df_all[ (df_all["week"]<every_test_date)&
                       (df_all["store"]==1)&
                       (df_all["dept"]==dept)]
    df_train.rename(columns={"week":"ds","sales":"y"},inplace=True)


    actual_result.append( df_all[(df_all["week"]==every_test_date)&
                                 (df_all["store"]==1)&
                                 (df_all["dept"]==dept)]["sales"].values[-1] )
    # print(actual_result[-1])

    df_test = df_all[ (df_all["week"]==every_test_date)&
                       (df_all["store"]==1)&
                       (df_all["dept"]==dept)]
    df_test.rename(columns={"week":"ds","sales":"y"},inplace=True)

    m = prophet.Prophet(yearly_seasonality=True)
    m.add_regressor("promotion_sales")
    m.fit(df_train)

    df_predict = m.predict(df_test)
    predict_result.append(df_predict["yhat"].values[0])
    # print(predict_result[-1])


plt.plot(test_date,predict_result,label="prediction")
plt.plot(test_date,actual_result,label="actual")
plt.legend()
plt.xticks(rotation=90)
plt.show()

在这里插入图片描述



#### lightgbm
df_sales = pd.read_csv("store_sales.csv",parse_dates=["week"])
df_prom = pd.read_csv("promotion_data.csv",parse_dates=["week"])
# print(df_sales.head(2))
# print(df_prom.head(2))
#
df_all = pd.merge(df_sales, df_prom, how="left")
df_all.fillna(0,inplace=True)

test_date_begin = pd.to_datetime("2012-07-30")
test_date_end = pd.to_datetime("2012-10-22")

dept = 1

df_samples = df_all[ (df_all["store"]==1)&
                     (df_all["dept"]==dept)].sort_values("week")

###  construct features
feature_cols = []

### first feature:  last week
df_samples["sales_lw"] = df_samples["sales"].shift(1)
df_samples["promotion_lw"] = df_samples["promotion_sales"].shift(1)

feature_cols = feature_cols + ["sales_lw", "promotion_lw"]

#### second features:  last year
df_samples["sales_ly"] = df_samples["sales"].shift(52)
df_samples["promotion_ly"] = df_samples["promotion_sales"].shift(52)

feature_cols += ["sales_ly","promotion_ly"]

#### third features:  variances waiting for prediction
feature_cols = feature_cols + ["promotion_sales"]

#### keep the data that is not nan
for col in feature_cols:
    df_samples = df_samples[ ~df_samples[col].isna() ]

######### construct train data and test data
test_date = df_all[ (df_all["week"]>=test_date_begin)&
                    (df_all["week"]<=test_date_end)]["week"].unique()

predict_result = []
actual_result = []

for i,every_test_date in enumerate(test_date):

    x_train = df_samples[df_samples["week"]<every_test_date][feature_cols].values
    y_train = df_samples[df_samples["week"]<every_test_date]["sales"].values

    x_test = df_samples[df_samples["week"]==every_test_date][feature_cols].values
    y_test = df_samples[df_samples["week"]==every_test_date]["sales"].values

    from lightgbm.sklearn import LGBMRegressor
    model = LGBMRegressor()
    model.fit(x_train,y_train)

    #### prediction
    y_pred = model.predict(x_test)

    predict_result.append(y_pred[0])
    actual_result.append(y_test[0])

print("actual data:",actual_result)
print("prediction:",predict_result)

plt.plot(test_date,predict_result,label="prediction")
plt.plot(test_date,actual_result,label="actual")
plt.legend()
plt.xticks(rotation=90)
plt.show()

在这里插入图片描述

最適当承诺
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
时间序列预测 | LightGBM时间序列预测建模，单步、多步（Python）
天天酷科研的博客
10-24 743
时间序列预测 | LightGBM时间序列预测建模，单步、多步（Python）
人工智能-深度学习-时间序列-基于LSTM神经网络的时间序列预测
07-09
时间序列预测旨在通过历史数据预测未来的趋势，这对决策制定和业务规划具有重要意义。 二、LSTM神经网络 LSTM是一种特殊的循环神经网络（RNN），能够处理序列数据中的长期依赖问题。其结构包括输入门、遗忘门和输出...
【机器学习】用LightGBM进行时间序列预测项目实战
fengdu78的博客
08-25 2180
本文中，将Prophet的预测结果作为特征输入到LightGBM模型中进行时序的预测，结果表明，该方法可以提升时间序列预测效果。在这篇文章将使用更高级的技术来预测时间序列，本文将使用 Prophet 来提取新的有意义的特征，例如季节性、置信区间、趋势等。时间序列预测一般情况下 LightGBM 模型都会使用一些lag的特征来预测未来的结果，这样做一般情况下能够取得很好的效果。本文介绍一种新的思...
基于树的时间序列预测（LGBM）
mnwl12_0的博客
05-06 1175
梯度提升模型特别适用于处理复杂的数据集，可以处理大量特征和特征之间的交互，并且对过度拟合也很稳健，同时能够处理缺失值。在大多数时间序列预测中，尽管有Prophet和NeuralProphet等方便的工具，但是了解基于树的模型仍然具有很高的价值。ARIMA 模型使用过去的值来预测未来的值，因此过去的值是重要的候选特征，可以创建许多滞后回归因子。创建基于时间的特征，包括日期、星期、季度等各种特征，通过 pandas series 的 "date" 类中提供的一系列函数，可以轻松实现这些需求。
DataFrame转换索引问题，ValueError: If using all scalar values, you must pass an index
ROokie_online的博客
12-07 1989
Pandas 期望数据值为列表值或字典值，当尝试通过传递所有标量值来创建 Pandas DataFrame 时，会发生此错误 解决办法 1. 将标量值转换为列表 #将标量值转换为列表 df = pd.DataFrame({'A': [1], 'B': [2], 'C': [3], 'D': [4]}) #view DataFrame df A B C D 0 1 2 3 4 2. 传递标量值和传递索引 import pandas as pd #create DataFram
【时序分析】Prophet模型中使用外生变量、自定义周期性
在红尘中争渡
04-15 1810
Prophet模型使用外生变量、自定义周期性参数
机器学习lgbm时间序列预测实战
03-21 376
机器学习lgbm时间序列预测实战
人工智能-深度学习-时间序列-基于LSTM神经网络的时间序列预测（95分以上大作业项目）.zip
09-17
人工智能-深度学习-时间序列-基于LSTM神经网络的时间序列预测（95分以上大作业项目）.zip 该项目是个人大作业项目源码，评审分达到95分以上，都经过严格调试，确保可以运行！放心下载使用。 人工智能-深度学习-...
基于python的深度学习的时间序列预测的研究与实现
最新发布
05-15
【作品名称】：基于python的深度学习的...【项目介绍】：基于python的深度学习的时间序列预测的研究与实现 文件路径 文件路径 说明 /dataset/ 存储的数据集 /sp500/ 标普500相关的代码 /sunspot/ 太阳黑子相关的代码
基于深度学习的溶解氧时间序列预测模型python源码+数据集.zip
08-09
基于深度学习的溶解氧时间序列预测模型python源码+数据集 【项目介绍】 该资源内项目代码都是经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 本项目适合计算机相关专业(如计科、人工智能、通信工程、...
单变量时间序列预测开发深度学习模型-python-源码
10-02
在本文中，我们将深入探讨单变量时间序列预测的关键概念、方法和Python实现，特别是通过深度学习框架进行的实践。 一、时间序列分析基础 时间序列数据是由特定时间顺序排列的一系列观测值，常见的如股票价格、天气...
时间序列模型Prophet使用详细讲解
热门推荐
anshuai_aw1的博客
10-26 15万+
之前我们已经讲过了如何在Windows系统下安装Python版本的Prophet。详细见这里。 接下来的几个部分，我们说下如何使用Prophet，以此来体验下Prophet的丰富内容。内容会比较多，主要翻译自官方文档。教程中使用的数据集可在 Prophet 的 github 主页 中的 examples 文件夹 内下载得到。 目录 一、简易入门 二、饱和预测 2.1 预测饱和增长 2....
Facebook时间序列预测算法模型-prophet
weixin_47620160的博客
06-10 5426
prophet(先知)是Facebook开源的一个时间序列预测算法。其是基于时间序列分解和机器学习的拟合来做的，其中在拟合模型的时候使用了pyStan这个开源工具，因此能够在较快的时间内得到需要预测的结果。prophet的算法里面考虑了四项，分别为：趋势项、季节项、剩余项和节假日效应。其中为趋势项，表示时间序列在非周期上面的变化趋势。为周期项或季节项，代表节假日项，表示在当天是否存在节假日。表示误差项或者剩余项。Prophet算法就是通过拟合这几项，最后累加起来就得到了时间序列的预测值。下面简要介绍一下Pr
prophet（3）
m0_46149106的博客
07-28 779
1预测饱和减少 logistic增长模型还可以处理饱和最小值，方法与指定最大值的列的方式相同: 2趋势突变点 在之前的部分，我们可以发现真实的时间序列数据往往在趋势中存在一些突变点。默认情况下， Prophet 将自动监测到这些点，并对趋势做适当地调整。不过，要是对趋势建模时发生了一些问题，例如：Prophet 不小心忽略了一个趋势速率的变化或者对历史数据趋势变化存在过拟合现象。如果我们希望对趋势的调整过程做更好地控制的话，那么下面将会介绍几种可以使用的方法。 1.Prophet 中的自动监测突变点 P
Kaggle实战：Store Sales - Time Series Forecasting
AndrewLi的博客
02-06 6891
数据浏览 train.csv The training data, comprising time series of features store_nbr, family, and onpromotion as well as the target sales. store_nbr identifies the store at which the products are sold. family identifies the type of product sold. sales gives th
Python数据挖掘实战
12-15
购买课程后，可扫码进入学习群，获取唐宇迪老师答疑 Python数据挖掘技术系列视频培训教程基于真实数据集进行案例实战，使用Python数据科学库从数据预处理开始一步步进行数据建模。对于每个案例首先进行流程解读与数据分析，建立特征工程，详细解读其中每一步原理与应用。该课程共有十一大章节，88课时，从泰坦尼克号获救预测进行数据分析作为第一章节，后边依次是用户画像、Xgboost实战、京东用户购买意向预测、Kaggle数据科学调查、房价预测、论文与BenchMark的意义、Python实现音乐推荐系统、fbprophet时间序列预测、用电敏感客户分类、数据特征。
R中prophet包说明文档（二）
莉莉丫丫的博客
01-24 2686
Prophet 名称：自动预测过程 版本：0.2.1 日期：2017-11-08 描述：实现了一个时间序列的预测过程，基于能够拟合年度、周等周期以及假期等因素的非线性趋势的加法模型。模型要求至少一年以上的周期性历史数据。prophet模型对于缺失值、趋势突变以及大量离群点的数据有较好的鲁棒性。 平台：R（3.2.3以上版本），Rcpp（0.12.0以上版本） 载入包： dplyr, e
深度学习在金融时间序列预测中的应用
4. **结果与分析**：展示了深度学习模型在实际金融时间序列预测中的性能，对比了与其他传统方法（如ARIMA、指数平滑等）的优劣，并对结果进行了深入解读。 5. **实践启示与局限性**：论文可能还讨论了深度学习在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值