人工智能(Pytorch)搭建模型3-GRU网络的构建,构造数据实现训练过程与评估

已于 2023-05-06 14:21:26 修改
阅读量1.9k 收藏 8
点赞数 2
分类专栏： 深度学习技巧应用 (Pytorch)搭建模型 文章标签： 人工智能 pytorch gru
于 2023-04-06 16:44:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42878111/article/details/129992716
版权

大家好，我是微学AI，今天给大家介绍一下人工智能(Pytorch)搭建模型3-GRU网络的构建,构造数据实现训练过程与评估，让大家了解整个训练的过程。

一、GRU模型

GRU（Gated Recurrent Unit，门控循环单元）是一种循环神经网络（RNN）的变体，用于处理序列数据。对于每个时刻，GRU模型都根据当前输入和之前的状态来推断出新状态，从而输出预测结果。与传统的RNN模型不同，在GRU模型中添加了两个门控机制，即「重置门」和「更新门」，来控制模型在推断时候保留多少历史信息。

76803872a3ec48a7bc86dfea0ef1f1c7.png

举个例子：假设任务是让模型学习一段句子并预测它的下一个单词是什么。在传统的RNN模型中，模型在处理较长的序列时会出现梯度消失/爆炸的问题。而在GRU模型中，我们引入了两个门控机制。第一个是重置门，负责让模型忘记历史状态中的某些信息，以便有更好的记忆和推断。第二个是更新门，它决定了这时刻的门口该有多大程度打开，来控制历史信息的保留。因此，GRU模型不仅能够自动地提取各种长期依赖性，而且计算复杂度较低、训练效果也比传统的RNN模型更好。

二、GRU计算过程

在GRU的简化形式中，一个输入的序列被送入GRU网络，每一个时刻是一个单独的向量或一个含多个元素的序列。每一个时刻网络会读入一个输入向量，计算出当前的隐含状态，并把这个状态传递到下一个时刻。每一个时刻的计算包括三个部分࿱

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微学AI
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【机器学习】GRU 讲解
LJR的博客
01-09 2639
GRU RNN LSTM 长期依赖问题 前向传播 重置门 更新门 输入门 输出门 遗忘门
人工智能-项目实践-模型压缩-基于pytorch的模型压缩实现.zip
01-03
人工智能-项目实践-模型压缩-基于pytorch的模型压缩实现 基于pytorch的模型压缩实现
神经网络学习笔记9——循环神经网络中的LSTM与GRU模型理解及代码解析
qq_45848817的博客
12-28 2366
循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。LSTM是RNN的一种，可以解决RNN长序列训练过程中的梯度消失和梯度爆炸问题，当一条序列足够长，那RNN将很难将信息从较早的时间步传送到后面的时间步，而LSTM能学习长期依赖的信息，记住较早时间步的信息，因此可以做到联系上下文。
利用pytorch实现对CIFAR-10数据集的分类
09-18
今天小编就为大家分享一篇利用pytorch实现对CIFAR-10数据集的分类，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于PyTorch与PyTorch-Lightning进行人工神经网络模型与CNN模型的构建.zip
07-09
资源包含文件：实验报告word+源码及数据 需要实现的模型：1. 基于 Backward Propagation 算法的人工神经网络；2. 卷积神经网络。 在 MNIST 手写字符识别数据集（http://yann.lecun.com/exdb/mnist/）上对实现的两个模型进行实验测试，陈述其原理与结果。 Windows 10 Conda 4.10.3 Python 3.9 PyTorch 1.9.1 PyTorch-Lightning 1.4.9 CUDA DataSpell 2021.3 EAP 准备阶段，使用 PyTorch-Lightning 进行训练框架的搭建。 在{model_name}_main.py 入口脚本（例如 cnn_main.py）中设置 Global Seed 为 42，使用自定义的 MnistDataLoader 作为训练数据，使用 pl.Trainer()对模型进行训练，自定义是否使用 GPU、epoch 数等参数： 详细介绍参考：https://blog.csdn.net/newlw/article/details/125008249
GRU模型
weixin_46556352的博客
04-26 3306
GRU模型
时间序列预测——GRU模型
weixin_39753819的博客
02-01 2554
门控循环单元（GRU）是由Cho等人于2014年提出的，旨在解决长短时记忆网络（LSTM）的一些问题。与LSTM相似，GRU也具有长期依赖性建模的能力，但其结构更加简单。GRU通过更新门和重置门来控制信息的流动，减少了参数数量，使得训练更加高效。本文深入介绍了GRU模型的理论基础和相关公式，分析了其优缺点，并通过Python实现了单步预测的示例。GRU作为一种高效而强大的深度学习模型，在时间序列预测中展现了出色的性能。在实际应用中，可以根据具体任务的要求进行调整和优化，以达到更好的预测效果。
GRU网络
qq_32172681的博客
09-29 8087
1、简介 随着 LSTM 在自然语言处理特别是文本分类任务的广泛应 用，人们逐渐发现 LSTM 具有训练时间长、参数较多、内部计 算复杂的缺点。Cho 等人在 2014 年进一步提出了更加简单的、 将 LSTM 的单元状态和隐层状态进行合并的、还有一些其他的变动的 GRU 模型。将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态。GRU把LSTM中的遗忘门和输入们用更新门来替...
深度学习_GRU模型
詹姆斯.高斯林觉得很赞
08-10 928
它是一种用于捕捉时间相关性的神经网络架构，相较于传统的RNN和长短时记忆网络（LSTM），GRU具有更简单的结构，同时在某些任务上表现得很出色。决定前一个时间步的隐藏状态对当前时间步的影响。它也使用输入序列和前一个时间步的隐藏状态来计算一个0到1之间的值，表示保留多少前一个时间步的隐藏状态。相对于LSTM，GRU的结构更简化，有时在某些任务上可以取得类似的性能，同时具有更高的计算效率。过将更新门应用于前一个时间步的隐藏状态和候选隐藏状态之间进行插值，生成当前时间步的新的隐藏状态。
基于Pytorch搭建Faster R-CNN实现飞机目标检测-数据集
01-09
基于Pytorch搭建Faster R-CNN实现飞机目标检测_数据集
Visdrone数据集YOLOv3训练结果 pytorch-yolov3-master-visdrone.zip
12-07
Visdrone数据集pytorch框架下YOLOv3训练结果，包含训练好的权重文件和各种训练曲线图，保存在runs/train文件夹下，附有相关场景下的测试视频和代码，代码为Ultralytics 版YOLOv3d代码
深度学习之GRU网络
披风秃头侠的博客
02-15 8943
1、GRU概述 　　GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。 　　在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。具体结构如下图所示： 　　　　 　　图中的...
GRU(门控循环单元)，易懂。
热门推荐
Michale_L的博客
02-03 5万+
一、什么是GRU？ GRU（Gate Recurrent Unit）是循环神经网络（RNN）的一种，可以解决RNN中不能长期记忆和反向传播中的梯度等问题，与LSTM的作用类似，不过比LSTM简单，容易进行训练。 二、GRU详解 GRU模型中有两个门，重置门和更新门，具体作用后面展开说。 先来看一张GRU的图，看不懂没关系，后面慢慢展开说。 符号说明： :当前时刻输入信息 :上一时刻的隐藏状态，这个隐藏状态包含了之前节点的相关信息。 :传递到下一时刻的隐藏状态 :候选隐藏状态 :重置门
自然语言处理（十一）：GRU模型
GeniusAng的博客
01-07 3088
自然语言处理（十一）：GRU模型
元学习系列（五）：GRU模型
jesseyule的博客
01-02 9762
之前提到的孪生网络那类模型，简单来说他们都是把训练集作为先验知识进行建模，而像LSTM、GRU、神经图灵机这一类模型则提供了另一个新思路，那就是引入外部记忆，在训练过程中通过训练集对外部记忆进行修改，从而在测试的时候利用外部记忆作为先验知识。 LSTM和RNN相比，引入了长期记忆和门结构，缓解了长期依赖问题。所谓的门结构，就是sigmoid函数，通过sigmoid函数分析应该遗忘什么、记忆什么和...
RANSAC算法概述
最新发布
点云侠的博客
05-20 424
RANSAC算法概述
智能决策引擎架构设计
猫七姑娘的小博客
05-15 1414
智能决策引擎系统是在大数据支撑下，根据行业专家经验制定规则策略、以及机器学习/深度学习/AI领域建立的模型运算，对当前的业务进行全面的评估，并给出决策结果的一套系统。一套商业决策引擎系统动辄百万而且需要不断加钱定制，大多数企业最终仍会走上自研道路，市场上有些开源规则引擎项目可参考，比较出名的开源规则引擎有drools、urule，都是基于Rete算法，都是基于java代码实现，一些企业会进行二次开发落地生产。而这类引擎功能强大但也比较“笨重”，易用性以及定制性并不够好，对其他语言栈二次开发困难。
分别使用keras-gpu和pytorch搭建cnn-GRU-attention预测负荷
05-25
使用 Keras-GPU 搭建 CNN-GRU-Attention 模型： 首先导入必要的库： ``` import numpy as np import pandas as pd import keras.backend as K from keras.models import Model from keras.layers import Input, Dense, Embedding, Conv1D, MaxPooling1D, GRU, Bidirectional, TimeDistributed, Flatten, Dropout, Lambda ``` 接着加载数据： ``` # 加载数据 data = pd.read_csv('data.csv') # 分割特征和标签 X = data.iloc[:, :-1].values y = data.iloc[:, -1].values # 将标签转换为one-hot编码 y = pd.get_dummies(y).values ``` 构建模型： ``` def cnn_gru_att(): input_layer = Input(shape=(X.shape[1],)) # embedding层 emb = Embedding(input_dim=VOCAB_SIZE, output_dim=EMB_SIZE)(input_layer) # CNN层 conv1 = Conv1D(filters=64, kernel_size=3, activation='relu', padding='same')(emb) pool1 = MaxPooling1D(pool_size=2)(conv1) conv2 = Conv1D(filters=128, kernel_size=3, activation='relu', padding='same')(pool1) pool2 = MaxPooling1D(pool_size=2)(conv2) conv3 = Conv1D(filters=256, kernel_size=3, activation='relu', padding='same')(pool2) pool3 = MaxPooling1D(pool_size=2)(conv3) # GRU层 gru = Bidirectional(GRU(units=128, return_sequences=True))(pool3) # Attention层 attention = TimeDistributed(Dense(1, activation='tanh'))(gru) attention = Flatten()(attention) attention = Lambda(lambda x: K.softmax(x))(attention) attention = RepeatVector(256)(attention) attention = Permute([2, 1])(attention) # 加权求和 sent_representation = Multiply()([gru, attention]) sent_representation = Lambda(lambda xin: K.sum(xin, axis=-2), output_shape=(256,))(sent_representation) # 全连接层 fc1 = Dense(units=256, activation='relu')(sent_representation) fc2 = Dense(units=128, activation='relu')(fc1) output_layer = Dense(units=NUM_CLASSES, activation='softmax')(fc2) model = Model(inputs=input_layer, outputs=output_layer) return model ``` 使用 PyTorch 搭建 CNN-GRU-Attention 模型： 首先导入必要的库： ``` import torch import torch.nn as nn import torch.nn.functional as F ``` 接着定义模型： ``` class CNN_GRU_ATT(nn.Module): def __init__(self, vocab_size, emb_size, num_filters, kernel_sizes, hidden_size, num_classes, dropout_rate): super(CNN_GRU_ATT, self).__init__() # embedding层 self.embedding = nn.Embedding(vocab_size, emb_size) # CNN层 self.convs = nn.ModuleList([nn.Conv1d(in_channels=emb_size, out_channels=num_filters, kernel_size=ks) for ks in kernel_sizes]) # GRU层 self.gru = nn.GRU(input_size=num_filters*len(kernel_sizes), hidden_size=hidden_size, bidirectional=True, batch_first=True) # Attention层 self.attention_layer = nn.Linear(hidden_size*2, 1) # 全连接层 self.fc1 = nn.Linear(hidden_size*2, hidden_size) self.fc2 = nn.Linear(hidden_size, num_classes) # Dropout层 self.dropout = nn.Dropout(dropout_rate) def forward(self, x): # embedding层 embedded = self.embedding(x) # CNN层 conv_outputs = [] for conv in self.convs: conv_output = F.relu(conv(embedded.transpose(1, 2))) pooled_output = F.max_pool1d(conv_output, conv_output.size(2)).squeeze(2) conv_outputs.append(pooled_output) cnn_output = torch.cat(conv_outputs, dim=1) # GRU层 gru_output, _ = self.gru(cnn_output.unsqueeze(0)) gru_output = gru_output.squeeze(0) # Attention层 attention_weights = F.softmax(self.attention_layer(gru_output), dim=0) attention_output = (gru_output * attention_weights).sum(dim=0) # 全连接层 fc1_output = self.dropout(F.relu(self.fc1(attention_output))) fc2_output = self.fc2(fc1_output) return fc2_output ``` 以上是使用 Keras-GPU 和 PyTorch 搭建 CNN-GRU-Attention 模型的示例代码，需要根据具体的任务修改模型参数和数据处理方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微学AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值