java 数据周期预测_关于使用张量流LSTM用时间序列数据预测下一个值的实际项目...

最新推荐文章于 2024-07-03 15:17:29 发布
最新推荐文章于 2024-07-03 15:17:29 发布
阅读量645 收藏
点赞数
文章标签： java 数据周期预测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35318685/article/details/114598152
版权
本文探讨了使用RNN-LSTM模型预测网络视图数据的挑战，作者通过特征工程将原始数据扩展到8个特征并进行了标准化。尽管尝试了不同的超参数配置，如time_step和隐藏单元数，模型预测效果仍不理想。对比之下，传统统计方法如加权平均在预测上表现出更好的准确性。作者寻求改善LSTM模型结果的方法或技巧。
摘要由CSDN通过智能技术生成

最近我研究了一个问题来预测第二天的网络视图 . 我选择了RNN-LSTM模型但效果并不理想 .

我的原始数据大约是200天，每天有1440点(每天有1440分钟，每分钟有一个值)=> [200 * 1440, 1] .

在特征工程之后，我将1-feature(仅为Web视图值)扩展为 8-features (当天的索引(范围从0到1439)，Web视图值，is_weekday(0,1)，当天的哪个小时(范围)从0到23)，哪一周(从0到6)等等) . So after this step, the data is like [200 * 1440, 8]

然后将每个特征标准化，使其属于[-1,1] .

然后使用lstm模型 . 模型拱门就像FNN-3 * LSTM-2 * FNN . rnn_hidden_unit是128.我尝试使用30个time_steps来预测下一个值 . 例如，t0，t1，...，t29-> t30和t1，t2，...，t30-> t31 .

第一个FNN层是将8个特征转换为128，以使其适合于lstm层 . [batch_size，time_step，n_features] - > [batch_size，time_step，rnn_hidden_unit]

LSTM层有3层(MultiRNNCell，lstm_depth = 3)

最后2 * FNN层是将128转换为64到1 .

last_cell_output = output_rnn[:, -1, :] output_layer1 = tf.contrib.layers.fully_connected(last_cell_output, num_outputs=64, activation_fn=None) pred = tf.contrib.layers.fully_connected(output_layer1, num_outputs=1, activation_fn=None)

损失函数：仅使用最后一个lstm单元来计算损失 .

loss = tf.reduce_mean(tf.square(tf.reshape(pred, [-1]) - tf.reshape(Y, [-1]))) + regularization_cost

结果如下图所示，蓝色是实数值，灰色区域由两个值组成：predict_value * 0.8和predict_value * 1.2 .

但是当我选择传统的统计方法，例如使用前5个工作日的加权平均值，如果下一个预测日是工作日或前2个周末，如果下一个预测日是周末 . 结果很好 .

dc49dc77-8cef-4258-be6f-a0edecc7959e.png

So are there any methods or tricks to improve the lstm model result? Or my solution itself has some faults. 非常感谢！

lstm模型的一些重要超参数：

time_step=30 (I also tried 60, 120. And 30 and 60 are well)

rnn_hidden_unit=128

n_features=8

lstm_depth=3

ouput_keep_prob=0.7

l2_regularization_rate=0.001

batch_size=64

有赞技术团队
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java如何预测数据,Data_Prediction
weixin_29447549的博客
03-21 1371
Data_Prediction (开源版本研发已收尾，当前为1.0版本。202003031333 ) 快速轨迹坐标数据统计与概率论预测评估计算引擎(数据预测引擎包)。协议证书： Apache2.0 ， 使用与修改请 refer作者 ：'罗瑶光' 或者 'Yaoguang.Luo' 即可。作者在大量的工程细节中遇到了数据预测计算和评估的功能需求，觉得有必要设计一个数据预测API.坐标类完善了欧基里德...
java版本lstm_使用LSTM的时间序列预测
weixin_34997870的博客
02-25 731
我正在使用Jason Brownlee's tutorial(mirror)在某些syslog /网络日志数据上应用LSTM网络 . 他是大师！我有过去1年每天的系统日志数据(特定事件)，所以我使用LSTM网络进行时间序列分析 . 我正在使用Keras深度学习库中的LSTM .我认为 -关于Batch_size一批数据是来自训练数据集的固定大小的行数，用于定义在更新网络权重之前要处理的模式数 . ...
Java中使用arima预测未来数据
最新发布
feng905001561的专栏
07-03 322
arima预估值
lstm的应用 java实现_使用keras LSTM进行序列预测
weixin_35601445的博客
02-27 457
我想使用LSTM进行序列预测 . 我正在使用keras .我想要预测一条线的标签，而不是预测句子中的下一个单词 . 在数据集中，我有一组与该行相关的特征和标签以及一组具有一组行的文档 .防爆 . 文件：每个文件中有200行(可用但最大行数我在末尾填零以匹配长度)：400与每行相关的功能：100所以我的输入功能大小是：200 * 400 * 100现在每行都有与之关联的标签，我想要预测 . lab...
基于java的大数据预测系统（设计）可运行可演示
04-25
1、下载并安装mysql，将脚本执行至数据库中； 2、配置java环境，使用jdk8，配置环境变量，下载IntelliJ IDEA 2019.2.4，该工具为java代码编译器 3、下载Maven，配置至环境变量（百度搜索很多），将构建器为Maven，类库配置成阿里库（方法：百度搜索很多很多） 4、将工程导入后，在application-local.yml文件中配置数据库 5、在logback-prod.xml文件中配置log日志 6、配置完毕后，即可启动 访问地址：http://localhost:8082/anime/login.html 用户名：admin 密码：admin V：china1866 1、 登录 2、 首页 3、 权限管理-用户管理 4、 权限管理-添加用户数据 5、 交通数据管理-查看交通数据 6、 交通数据管理-添加交通数据 7、 交通预测-交通数据预测 脚本： CREATE TABLE `traffic_data_t` ( `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT '序列', `trafficId` VARCHAR(50) NULL DEFAULT NULL COMMENT '交通数据编号', `trafficContent` VARCHAR(50) NULL DEFAULT NULL COMMENT '交通状况', `trafficSection` VARCHAR(200) NULL DEFAULT NULL COMMENT '交通路段', `trafficMan` VARCHAR(200) NULL DEFAULT NULL COMMENT '上报人', `trafficDate` VARCHAR(200) NULL DEFAULT NULL COMMENT '上报时间', `status` VARCHAR(200) NULL DEFAULT NULL COMMENT '交通状态', PRIMARY KEY (`id`) ) COMMENT='交通数据表' COLLATE='utf8_general_ci' ENGINE=InnoDB AUTO_INCREMENT=44 ; CREATE TABLE `sys_user_t` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `role_id` INT(11) NULL DEFAULT NULL COMMENT '角色ID', `user_id` VARCHAR(50) NOT NULL COMMENT '用户ID', `user_name` VARCHAR(100) NOT NULL COMMENT '用户名', `status` INT(11) NOT NULL COMMENT '是否有效0:false\\\\1:true', `create_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `create_by` VARCHAR(100) NULL DEFAULT NULL, `last_update_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `last_update_by` VARCHAR(100) NULL DEFAULT NULL, `password` VARCHAR(128) NOT NULL, `tenantcode` VARCHAR(50) NOT NULL, `diskId` VARCHAR(500) NULL DEFAULT NULL, `remarks` VARCHAR(500) NULL DEFAULT NULL, PRIMARY KEY (`id`) ) COMMENT='系统用户表' COLLATE='utf8_general_ci' ENGINE=InnoDB AUTO_INCREMENT=51 ; CREATE TABLE `sys_role_t` ( `role_id` INT(11) NOT NULL COMMENT '角色ID', `role_name` VARCHAR(200) NOT NULL COMMENT '权限名称', `status` INT(11) NOT NULL COMMENT '是否有效0:true\\\\1:false', `create_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `create_by` VARCHAR(100) NULL DEFAULT NULL, `last_update_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `last_update_by` VARCHAR(100) NULL DEFAULT NULL ) COMMENT='系统角色表' COLLATE='utf8_general_ci' ENGINE=InnoDB ; CREATE TABLE `sys_menu_t` ( `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT '序列', `parent_id` VARCHAR(50) NOT NULL COMMENT '父节点ID', `menu_id` VARCHAR(50) NOT NULL COMMENT '菜单ID', `menu_name` VARCHAR(200) NOT NULL COMMENT '菜单名称', `menu_url` VARCHAR(200) NULL DEFAULT NULL COMMENT '菜单URL', `status` INT(11) NOT NULL COMMENT '有效（0有效，1失效）', `create_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `create_by` VARCHAR(200) NULL DEFAULT NULL, `last_update_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `last_update_by` VARCHAR(200) NULL DEFAULT NULL, PRIMARY KEY (`id`) ) COMMENT='菜单表' COLLATE='utf8_general_ci' ENGINE=InnoDB AUTO_INCREMENT=33 ; CREATE TABLE `sys_menu_role_relation_t` ( `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT '序列', `menu_id` VARCHAR(50) NOT NULL COMMENT '菜单ID', `role_id` VARCHAR(50) NOT NULL COMMENT '角色ID', `status` INT(11) NOT NULL COMMENT '有效（0有效，1失效）', `create_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `create_by` VARCHAR(200) NULL DEFAULT NULL, `last_update_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `last_update_by` VARCHAR(200) NULL DEFAULT NULL, PRIMARY KEY (`id`) ) COMMENT='角色与菜单关系表' COLLATE='utf8_general_ci' ENGINE=InnoDB AUTO_INCREMENT=51 ;
LSTM预测.py_LSTM_LSTM时间序列_流量预测_lstm预测_时间序列预测；LSTM模型_
09-28
在处理时间序列数据时，每个时间步的输入都会与前一时间步的状态相互作用，形成新的隐藏状态，这个隐藏状态将被传递到下一个时间步，并用于预测。 在`LSTM预测.py`这个文件中，我们可以预期代码会包含以下关键步骤...
OpenGL.zip_OPENGL平台_c 张量_张量分解_点云数据张量_点云检测
09-21
在VC++开发平台下，基于OPenGl开发包实现绘图功能，完成点云数据的绘制后，通过张量分解实现特征点检测
基于pytorch使用LSTM、GRU、BPNN进行时间序列预测源码+模型.zip
05-08
总结，这个压缩包提供了一个使用PyTorch实现LSTM、GRU和BPNN进行时间序列预测的实例。通过研究这些代码，开发者可以学习到如何在PyTorch环境中搭建和训练这些模型，从而提升自己的深度学习技能。
tensorhosvd.zip_HOSVD.m_人脸识别_张量 分解_张量奇异值_张量高阶的奇异值分解
07-13
针对文章《基于张量奇异值分解的人脸识别方法》的代码
Untitled3.zip_HOSVD_tucker_张量修复_张量分解_缺失数据
07-15
本压缩包文件"Untitled3.zip"包含了关于这两个主题以及张量修复的相关资源，特别是针对缺失数据的处理。 首先，我们来详细了解一下**Tucker分解**。Tucker分解是将一个高阶张量分解为一个核心张量与一系列低阶因子...
基于Java的天气雷达数据的降雨预测及展示系统
05-29
此系统是利用Java语言开发的，里面有封装好的需要预测地区的天气数据包，利用Java语言进行解析，然后绘制天气雷达图，并利用Java界面编程将数据动态的展示到界面上。需要的可以下载参考学习。
LSTM预测_predictionlstm_LSTM_lstmprediction_LSTM预测_lstm预测
09-10
可以用于LSTM预测，数据，和权重更新程序已上传
java 数据周期预测_预测算法 | Holt Winter季节性指数平滑法 附JAVA代码
weixin_34079140的博客
02-24 1021
importjava.util.ArrayList;importjava.util.List;/***三次指数平滑预测，最多外推一个周期*@authorAdministrator**/publicclassHoltWintersTripleExponentialImpl{staticdouble[]alphas=newdouble[]{0.1,0.2,0.3,0.4,0.5,0...
java 通过线性算法预测未来数据
m0_49513507的博客
08-25 1819
通过线性算法预测未来数据
波动分解模型
小壁虎的春天
10-20 453
什么是波动 波动(volatility)是自然界和金融市场中最为常见的现象。对于投资者而言，波动是赚取交易利润的重要来源之一。 根据有效市场理论，市场价格会及时反映当前最新的相关信息。正因为市场信息源源不绝，因此每一个交易品种的价格都在不断地变化当中。但是对于交易者而言，他们只能看到在不同因素影响下最终的波动表现。 为了要更加精准地对价格波动进行分析和预测，交易者需要首先对变化进行解构(decomposition), 分解出不同因子的时间变化序列，然后将不同的波动因子在未来某个时间的预测值再度组合，得
java电量预测_GitHub - ylhao/lstm-power-load-forecast: LSTM单变量时间预测（电量负载预测）...
weixin_29240343的博客
02-25 807
LSTM电量负载预测主要使用TensorFlow构建了LSTM模型实现了电量负载预测(单变量时间预测)。原始数据的折线图：训练过程：setp: 0 train loss: 7.9421210289001465 validation loss: 7.800604730844498best_loss: inf -> 7.800604730844498, save model....
LSTM java 实现
weixin_30279751的博客
11-11 2032
由于实验室事情缘故，需要将Python写的神经网络转成Java版本的，但是python中的numpy等啥包也不知道在Java里面对应的是什么工具，所以索性直接寻找一个现成可用的Java神经网络框架，于是就找到了JOONE，JOONE是一个神经网络的开源框架，使用的是BP算法进行迭代计算参数，使用起来比较方便也比较实用，下面介绍一下JOONE的一些使用方法。 JOONE需要使用一些外部的依赖...
java实现数据预测—加权移动平均法
Along的博客
04-26 3716
/** * @author Along * @desc 风险预测--加权移动平均法 */ @Slf4j public class Predicted implements Serializable{ private static final long serialVersionUID = 1L; /*加权移动平均法 * data : 时间序列 [100,20...
写一个基于pytorch的LSTM时间序列数据预测程序，比如温度数据预测
06-15
好的，我可以帮您编写一个基于PyTorch的LSTM时间序列数据预测程序，以下是示例代码： 首先，需要安装PyTorch和其他必要的库： ```python !pip install torch !pip install numpy !pip install pandas !pip install matplotlib ``` 然后，我们需要加载数据。这里以温度数据为例，假设我们有一个温度数据集`temperature.csv`，其中包含每小时的温度数据。我们可以使用`pandas`库来加载数据： ```python import pandas as pd # 加载数据 data = pd.read_csv('temperature.csv', header=None, index_col=False, delimiter=',', names=['date', 'temperature'], dtype={'date': 'str', 'temperature': 'float'}) # 查看数据 print(data.head()) ``` 接下来，我们需要将数据拆分成训练集和测试集。这里我们将前80%的数据作为训练集，后20%的数据作为测试集： ```python # 将数据拆分成训练集和测试集 train_size = int(len(data) * 0.8) test_size = len(data) - train_size train_data, test_data = data.iloc[0:train_size], data.iloc[train_size:len(data)] print('训练集大小：', len(train_data)) print('测试集大小：', len(test_data)) ``` 然后，我们需要将数据转换为模型输入。这里我们使用前`look_back`个时间步作为输入，预测下一个时间步的温度。我们定义一个函数来创建数据集： ```python import numpy as np # 创建数据集 def create_dataset(dataset, look_back=1): X, Y = [], [] for i in range(len(dataset)-look_back-1): x = dataset[i:(i+look_back), 0] X.append(x) Y.append(dataset[i + look_back, 0]) return np.array(X), np.array(Y) # 将数据转换为模型输入 look_back = 24 # 每个输入序列包含24小时的数据 train_X, train_Y = create_dataset(train_data[['temperature']].values, look_back) test_X, test_Y = create_dataset(test_data[['temperature']].values, look_back) # 将输入转换为张量 train_X = torch.from_numpy(train_X).float() train_Y = torch.from_numpy(train_Y).float() test_X = torch.from_numpy(test_X).float() test_Y = torch.from_numpy(test_Y).float() ``` 接下来，我们定义模型。这里我们使用一个包含一个LSTM层和一个全连接层的简单模型： ```python import torch.nn as nn # 定义模型 class LSTM(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(LSTM, self).__init__() self.lstm = nn.LSTM(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): out, _ = self.lstm(x) out = self.fc(out[:, -1, :]) return out # 初始化模型 input_size = 1 # 输入特征数 hidden_size = 32 # 隐藏层大小 output_size = 1 # 输出特征数 model = LSTM(input_size, hidden_size, output_size) # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) ``` 然后，我们训练模型： ```python # 训练模型 num_epochs = 100 batch_size = 32 train_dataset = torch.utils.data.TensorDataset(train_X, train_Y) train_loader = torch.utils.data.DataLoader(dataset=train_dataset, batch_size=batch_size, shuffle=True) for epoch in range(num_epochs): for i, (inputs, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() if epoch % 10 == 0: print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item())) ``` 最后，我们使用测试集评估模型： ```python # 测试模型 model.eval() with torch.no_grad(): test_outputs = model(test_X) test_loss = criterion(test_outputs, test_Y) print('测试集损失：', test_loss.item()) # 绘制预测结果 test_predict = test_outputs.data.numpy() test_truth = test_Y.data.numpy() plt.plot(test_predict, label='预测') plt.plot(test_truth, label='真实') plt.legend() plt.show() ``` 这样就完成了一个基于PyTorch的LSTM时间序列数据预测程序。您可以根据自己的需求修改代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值