基于self-attention的GRU预测模型

已于 2023-12-14 12:06:13 修改
阅读量790 收藏 4
点赞数
分类专栏： 深度学习 文章标签： 深度学习 人工智能 机器学习
于 2023-03-10 22:57:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41728700/article/details/129455680
版权

基于self-attention的GRU预测模型

 

特色：1、单变量，多变量输入，自由切换

          2、单步预测，多步预测，自动切换

          3、基于Pytorch架构

          4、多个评估指标（MAE,MSE,R2,MAPE等）

           5、数据从excel文件中读取，更换简单

          6、标准框架，数据分为训练集、验证集，测试集

 

全部完整的代码，保证可以运行的代码看这里。

http://t.csdnimg.cn/El450

 

  ！！！如果第一个链接打不开，请点击个人首页，查看我的个人介绍。

（搜索到的产品后，点头像，就能看到全部代码）

黑科技小土豆的博客_CSDN博客-深度学习,32单片机领域博主

81f754be553447359b8409784e21b159.png

e391c22284a64e18b0ed2e4edc68f2bd.png

 

1、GRU-selfAttention模型背景简介

GRU全名Gated Recurrent Units，是一种递归神经网络的变种。它改变了LSTM中的记忆单元和门的结构，只使用了两个门（重置门和更新门）并且直接传递当前状态到输出。

self-attention机制同样适用于GRU网络，可以根据输入序列自适应地计算各个时间步的权重。

因此，GRU-selfAttention模型采用GRU网络结合self-attention机制，来更好地解决序列数据中存在的长期依赖关系和局部依赖之间的复杂关系。

2、GRU-selfAttention模型优点总结

本模型的优点有：

  • GRU结构相对LSTM更加轻量级，计算速度更快，可以更快地进行训练和预测；
  • self-attention机制能够更好地处理序列数据之间的关系，为GRU网络提供各个时间步不同的辅助信息，帮助提高预测准确率。

 

train_ratio = 0.7  # 训练集比例
val_ratio = 0.15  # 验证集比例
test_ratio = 0.15  # 测试集比例
input_length = 48  # 输入数据长度，多步预测建议长，单步预测建议短
output_length = 1  # 输出数据长度，1为单步预测，1以上为多步预测 请注意，随着输出长度的增长，模型训练时间呈指数级增长
learning_rate = 0.1  # 学习率
estimators = 100  # 迭代次数
max_depth = 5  # 树模型的最大深度
interval_length = 2000  # 预测数据长度，最长不可以超过总数据条数
scalar = True  # 是否使用归一化
scalar_contain_labels = True  # 归一化过程是否包含目标值的历史数据
target_value = 'load'  # 需要预测的列名，可以在excel中查看

3b6eadb0210c4946bfd54e910aa2fa84.png

 

 

 

 

黑科技小土豆
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【GRU分类】基于注意力机制门控循环单元attention-GRU实现数据多维输入单输出分类附matlab代码
matlab_dingdang的博客
09-08 610
在机器学习和深度学习领域，分类问题一直是一个重要的研究方向。分类任务的目标是将输入数据分为不同的类别，以便能够对未知数据进行准确的分类。在这个博文中，我们将介绍一种基于注意力机制门控循环单元（attention-GRU）的方法，用于实现数据多维输入单输出分类。GRU是一种循环神经网络（RNN）的变种，它在处理序列数据时具有优秀的性能。与传统的循环神经网络相比，GRU具有更少的参数和更好的训练效率。在分类问题中，我们通常需要将输入数据表示为一个固定长度的向量，以便能够使用传统的分类算法进行处理。
Attention-GRU-3M
05-16
注意-GRU-3M 论文“具有自适应Attention-GRU模型的品牌级排名系统[C]”的代码。 （接受IJCAI 2018） 运行命令：python train.py --buckets“ ./data/” --checkpointDir ./log/ --exp debug --m1 1 --m2 0 --m3 1 参数：“ buckets”是输入数据的文件夹，“ checkpointDir”是输出数据的折叠，“ debug”仅是文件夹名称（不重要），“ m1 m2 m3”表示激活了哪个修改。 运行上述命令一段时间后，在目录根目录下运行：tensorboard --logdir =“ ./ log /”，然后可以通过网站链接查看性能。 虚拟环境：virtualenv -p python2 env 源环境/ bin /激活 在Linux上安装TensorFlow： pip安装-
麻雀算法优化SSA-CNN-GRU模型在时间序列预测中的实现与优化（Matlab2020b及以上版本），Matlab实现SSA-CNN-GRU麻雀算法优化卷积门控循环单元进行单变量时间序列预测效果评估
最新发布
DtMRpTAcloYq的博客
06-12 325
通过优化参数和评估预测指标，我们可以提高模型的准确度并进行有效的时间序列预测。在运行主程序之后，我们可以在命令窗口输出预测结果的评估指标，包括平均绝对误差（MAE）、平均绝对百分比误差（MAPE）、均方误差（MSE）和均方根误差（RMSE）。在时间序列预测领域，麻雀算法优化卷积门控循环单元（SSA-CNN-GRU）是一种非常有效的方法。3.运行环境Matlab2020b及以上，data为数据集，运行主程序SSA-CNN-GRUTS，其余为函数文件无需运行，所有程序和数据放在一个文件夹；
循环神经网络复习1-RNN,LSTM,GRU(为什么讲gru，因为阿里的推荐DIEN的论文中self-attention中大量是基于GRU的）
zlb872551601的博客
12-23 974
循环神经网络复习1-RNN,LSTM,GRU(为什么将gru)因为阿里的推荐DIEN的论文中self-attention中大量是基于GRU的
Matlab基于注意力机制融合门控循环单元数据GRU-Attention分类预测
qq_59747472的博客
09-08 194
在机器学习和深度学习领域，分类问题一直是一个重要的研究方向。分类任务的目标是将输入数据分为不同的类别，以便能够对未知数据进行准确的分类。在这个博文中，我们将介绍一种基于注意力机制门控循环单元（attention-GRU）的方法，用于实现数据多维输入单输出分类。GRU是一种循环神经网络（RNN）的变种，它在处理序列数据时具有优秀的性能。与传统的循环神经网络相比，GRU具有更少的参数和更好的训练效率。在分类问题中，我们通常需要将输入数据表示为一个固定长度的向量，以便能够使用传统的分类算法进行处理。
Attention+GRU
沐阳的博客
06-25 7351
数据集 纳斯达克100 模型原理 模型代码 class Attention(Layer): def __init__(self, step_dim, W_regularizer=None, b_regularizer=None, W_constraint=None, b_constraint=None, bias=True, **kwargs): self.suppor...
next item recommendation with self-attention
04-29
1. **序列建模**：代码可能包含对用户行为序列的建模方法，如使用马尔科夫链、RNN（循环神经网络）、GRU（门控循环单元）或者LSTM（长短期记忆网络）等。 2. **自注意力机制**：项目的核心在于如何应用自注意力来...
TCN-with-attention-master_attention_tcn_attention预测_attention-LS
09-30
4. **序列预测模型**：将TCN与注意力机制整合，构建序列预测模型，可能包括训练和验证流程。 5. **实验和结果**：可能包含在不同数据集上的实验设置、性能比较以及结果分析。 在源代码中，你可能会找到相关的配置...
DSTP-RNN_forecasttimeseries_dstp-rnn_attention_
09-30
综上所述，DSTP-RNN是一种高效的时间序列预测模型，它通过双阶段两相注意力机制强化了RNN的预测能力。这种模型在各种时间序列预测任务中具有广阔的应用前景，值得研究人员和实践者深入研究和探索。
基于深度学习的机器翻译模型.zip
03-28
Transformer模型摒弃了以往的循环神经网络（RNN）结构，采用了自注意力（Self-Attention）机制，解决了长距离依赖问题，提高了并行计算效率。Transformer模型包含编码器和解码器两部分，编码器负责理解输入的源语言...
torch-seq2seq-attention, GRU递归和注意的seq2seq机器翻译的Torch 实现.zip
09-17
torch-seq2seq-attention, GRU递归和注意的seq2seq机器翻译的Torch 实现 torch-seq2seq-attention这是对神经机器翻译的一个轻微的修改，通过联合学习来调整和翻译。 模型这里模型基于 torch-seq2seq 。 模型中，递归编码器输出末端( 代表整个句子)的单个矢量，解码器从那
大语言模型原理.zip
08-29
它利用自注意力机制（self-attention）代替了RNN的序列依赖，允许模型并行处理输入，显著提高了训练效率和性能。BERT、GPT等预训练模型都是基于Transformer架构。 5. **预训练与微调**：大语言模型通常采用预训练和...
关于GRU和attention的
weixin_43444314的博客
04-01 3076
转至https://blog.csdn.net/yanqianglifei/article/details/82885522
NLP自然语言处理之RNN--LSTM--GRU--seq2seq--attention--self attetion
weixin_41097516的博客
11-23 793
1、RNN原理和数学公式 """ 执行 # 定义RNN的参数。 X = [1,2] state = [0.0, 0.0] w_cell_state = np.asarray([[0.1, 0.2], [0.3, 0.4]]) w_cell_input = np.asarray([0.5, 0.6]) b_cell = np.asarray([0.1, -0.1]) w_outp...
多维时序 | MATLAB实现Attention-GRU多变量时间序列预测(注意力机制融合门控循环单元,TPA-GRU)
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
11-21 4634
多维时序 | MATLAB实现Attention-GRU多变量时间序列预测(注意力机制融合门控循环单元,TPA-GRU)
【GRU分类】基于注意力机制门控循环单元attention-GRU-Adaboost实现数据多维输入单输出分类附matlab代码 机器鱼
m0_60703264的博客
02-17 1112
摘要本文提出了一种基于注意力机制的门控循环单元（Attention-GRU）和 Adaboost 算法相结合的分类方法，用于处理数据多维输入单输出分类问题。该方法将注意力机制引入到 GRU 网络中，增强了网络对输入序列中重要特征的关注能力。此外，通过 Adaboost 算法对 Attention-GRU 模型进行集成，进一步提升了分类精度和鲁棒性。本文提供了详细的算法流程和 Matlab 代码实现，并通过实际数据集验证了该方法的有效性。引言。
GRU_with_Attention 模型
fdgdf5535的博客
03-25 779
GRU与传统的长短期记忆网络（LSTM）类似，但简化了LSTM的结构，去掉了输入门和输出门，只保留了重置门和更新门。在GRU中，重置门控制了前一个时间步的隐藏状态如何影响当前时间步的隐藏状态，而更新门控制了如何将新的输入信息融合到当前时间步的隐藏状态中。总的来说，GRU是一种强大的循环神经网络结构，适用于处理序列数据，具有较好的性能和效率。在这个函数中，输入是经过重塑的 EEG 信号数据，然后通过 GRU 单元进行处理，同时引入了注意力机制来增强模型对输入的关注能力。函数的输出包括： -
白话机器学习-Self Attention
老码农
05-02 1316
一 背景 大抵是去年底吧，收到了几个公众号读者的信息，希望能写几篇介绍下Attention以及Transformer相关的算法的文章，当时的我也是满口答应了，但是确实最后耽误到了现在也没有写。 前一阵打算写这方面的文章，不过发现一个问题，就是如果要介绍Transformer，则必须先介绍Self Attention，亦必须介绍下Attention，以及Encoder-Decoder框架，以及GRU、LSTM、RNN和CNN，所以开始漫长的写作之旅。 截止目前，已经完成几篇文章的输出 《白话机器学习-卷积神
编写一个pytorch架构下的CNN-GRU-attention代码预测价格
05-26
首先，我们需要准备数据集。假设我们要预测房价，我们可以使用UCI Machine Learning Repository中的波士顿房价数据集。 接下来，我们可以定义我们的模型。CNN-GRU-Attention模型主要由三部分组成：卷积神经网络层（CNN）、门控循环单元层（GRU）和注意力机制层（Attention）。代码如下： ```python import torch.nn as nn class CNN_GRU_Attention(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim): super(CNN_GRU_Attention, self).__init__() # 定义卷积神经网络层 self.conv_layer = nn.Sequential( nn.Conv1d(in_channels=input_dim, out_channels=32, kernel_size=3), nn.ReLU(), nn.Conv1d(in_channels=32, out_channels=64, kernel_size=3), nn.ReLU(), nn.Conv1d(in_channels=64, out_channels=128, kernel_size=3), nn.ReLU() ) # 定义门控循环单元层 self.gru_layer = nn.GRU(input_size=128, hidden_size=hidden_dim, num_layers=1, batch_first=True) # 定义注意力机制层 self.attention_layer = nn.Sequential( nn.Linear(hidden_dim, 64), nn.Tanh(), nn.Linear(64, 1) ) # 定义输出层 self.output_layer = nn.Linear(hidden_dim, output_dim) def forward(self, x): # 卷积神经网络层 x = self.conv_layer(x) # 将输出转换为GRU的输入格式 x = x.permute(0, 2, 1) # GRU层 output, hidden = self.gru_layer(x) # 注意力机制层 attention_weights = nn.functional.softmax(self.attention_layer(output), dim=1) attention_output = (output * attention_weights).sum(dim=1) # 输出层 output = self.output_layer(attention_output) return output ``` 接下来，我们可以定义损失函数和优化器，并开始训练我们的模型。这里我们使用均方误差（Mean Squared Error）作为损失函数，Adam优化器进行优化。代码如下： ```python import torch.optim as optim # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 开始训练 num_epochs = 100 for epoch in range(num_epochs): # 训练模式 model.train() # 循环批次 for batch_idx, (data, target) in enumerate(train_loader): # 清空梯度 optimizer.zero_grad() # 前向传播 output = model(data) # 计算损失 loss = criterion(output, target) # 反向传播 loss.backward() # 更新参数 optimizer.step() # 测试模式 model.eval() # 计算测试集上的损失 test_loss = 0.0 with torch.no_grad(): for data, target in test_loader: output = model(data) test_loss += criterion(output, target).item() * data.size(0) test_loss /= len(test_loader.dataset) # 打印损失 print('Epoch: {}, Training Loss: {:.6f}, Testing Loss: {:.6f}'.format(epoch+1, loss.item(), test_loss)) ``` 最后，我们可以使用训练好的模型进行预测。代码如下： ```python # 使用模型进行预测 model.eval() with torch.no_grad(): output = model(test_data) # 打印预测结果 print('Prediction:', output.item()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值