GRU(门控循环单元)详解

已于 2024-11-14 23:00:13 修改
阅读量1.6k 收藏 24
点赞数 32
分类专栏： AI天梯 # RNN架构 文章标签： gru 人工智能 机器学习 神经网络
于 2024-11-14 21:31:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42980908/article/details/143772040
版权

1️⃣ GRU介绍

前面介绍的LSTM可以有效缓解RNN的梯度消失问题，但是其内部结构比较复杂，因此衍生出了更加简化的GRU。GRU把输入门和遗忘门整合成一个更新门，并且合并了细胞状态和隐藏状态。于2014年被提出

2️⃣ 原理介绍

GRU的结构和最简单的RNN是一样的。当前输入为 x t x_t xt​，上一个节点传递下来的隐层状态为 h t − 1 h_{t-1} ht−1​，这个隐层状态包含了之前节点的相关信息。根据 x t x_t xt​和 h t − 1 h_{t-1} ht−1​，GRU会得到当前时间步的输出 y t y_t yt​和传递给下一个节点的隐层状态 h t h_t ht​，实际上 y t y_t yt​就是等于 h t h_t ht​
在这里插入图片描述
下面介绍详细的原理，下图展示了GRU的详细结构：
在这里插入图片描述

第一步，计算重置门，它的参数是 W r W_r Wr​，用于控制之前的记忆需要保留多少。该门的输入是前一个隐层状态 h t − 1 h_{t-1} ht−1​以及当前时间步的输入 x t x_t xt​，输出为 r t r_t rt​，在0到1之间，：
r t = σ ( W r ⋅ [ h t − 1 , x t ] ) r_{t}=\sigma\left(W_{r}\cdot[h_{t-1},x_{t}]\right) rt​=σ

最低0.47元/天 解锁文章
4.5.门控循环单元GRU
shiki217_的博客
08-06 1824
​ 对于一个序列，不是每个观察值都是同等重要的，可能会遇到一下几种情况：早期观测值对预测所有未来观测值都具有非常重要的意义。考虑极端情况，第一个观测值包含一个校验和，目的是在序列的末尾辨别校验和事否正确，我们希望有某些机制在一个记忆元里存储重要的早期信息。如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度。一些词元没有相关的观测值在对网页内容进行情感分析时，可能一些辅助的HTML代码与网页传达的情绪无关，我们希望有一些机制来跳过隐状态中的此类词元序列的各个部分存在逻辑中断。
门控循环单元——GRU
m0_43425029的博客
02-18 779
门 更新门——能关注的机制 重置门——能遗忘的机制 候选隐状态 隐状态 import torch from torch import nn from d2l import torch as d2l batch_size,num_steps = 32,35 train_iter,vocab = d2l.load_data_time_machine(batch_size,num_steps) #初始化模型参数 def get_params(vocab_size,num_hiddens,device):
门控循环单元（GRU）
永远相信美好的事情即将发生
03-31 5923
门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。重置门有助于捕获序列中的短期依赖关系。更新门有助于捕获序列中的长期依赖关系。重置门打开时，门控循环单元包含基本循环神经网络；更新门打开时，门控循环单元可以跳过子序列。
门控循环单元（Gate Recurrent Unit，GRU）详细解释（带示例）
TEUTEU的博客
03-03 1370
和长短时记忆网络（LSTM）类似，门控循环单元（GRU）也是为了解决传统循环神经网络（RNN）在处理长序列数据时遇到的梯度消失或梯度爆炸问题而设计的。GRU 由 Cho 等人在 2014 年提出，它在保留捕捉序列长期依赖能力的同时，简化了 LSTM 的结构，使得计算效率更高。
门控循环单元(GRU)
热门推荐
sikh_0529的博客
09-15 1万+
在循环神经⽹络中的梯度计算⽅法中，我们发现，当时间步数较⼤或者时间步较小时，**循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但⽆法解决梯度衰减的问题。**通常由于这个原因，循环神经⽹络在实际中较难捕捉时间序列中时间步距离较⼤的依赖关系。**门控循环神经⽹络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较⼤的依赖关系。**它通过可以学习的⻔来控制信息的流动。
【机器学习】门控循环单元(GRU)
weixin_42301220的博客
04-21 4559
文章目录1. GRU2. ⻔控循环单元2.1 重置门和更新门2.2 候选隐藏状态2.3 隐藏状态 1. GRU 在循环神经⽹络中的梯度计算⽅法中，我们发现，当时间步数较⼤或者时间步较小时，循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但⽆法解决梯度衰减的问题。通常由于这个原因，循环神经⽹络在实际中较难捕捉时间序列中时间步距离较⼤的依赖关系。 **门控循环神经⽹络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较⼤的依赖关系
09.1. 门控循环单元（GRU）
weixin_45063703的博客
10-10 1368
定义隐状态的初始化函数init_gru_state#
基于蛇优化算法的SO-GRU门控循环单元数据回归预测算法详解与优化参数设定指南,SO-GRU 门控循环单元 基于蛇优化门控循环单元(SO-GRU)的数据回归预测 数据回归预测 2022最新智能优化算法
01-22
SO-GRU门控循环单元是一种结合了深度学习中GRU（门控循环单元）和蛇优化算法的新型预测模型。GRU是循环神经网络（RNN）的一种变体，它通过门控机制有效地解决了传统RNN的长期依赖问题，使得网络能够学习到时间序列中...
MATLAB实现GRU门控循环单元多输入多输出（含完整的程序和代码详解）
10-20
内容概要：本文介绍了如何在MATLAB中实现一个处理多输入多输出的GRU（门控循环单元）模型。项目包括数据加载和预处理、模型构建与训练、性能评估以及结果可视化。文中还提供了用户友好的GUI设计，方便用户进行数据...
Python 实现GRU门控循环单元多输入多输出（含完整的程序和代码详解）
11-21
内容概要：本文详细介绍了一种使用GRU（门控循环单元）实现多输入多输出（MIMO）时序预测的方法。文章从项目背景、目标、挑战和特点出发，详细阐述了GRU在处理复杂时序数据中的优势，尤其是相比于LSTM在参数量、速度...
MATLAB实现基于GRU门控循环单元的时间序列预测-递归预测未来(多指标评价)（含完整的程序和代码详解）
10-20
内容概要：本文介绍了如何使用MATLAB实现基于GRU门控循环单元的时间序列预测模型。详细阐述了从数据读取与预处理、模型构建、训练到预测和评估的整个流程，并提供了丰富的图表和代码细节。同时，还展示了如何使用...
时间序列预测（九）——门控循环单元网络（GRU）
qq_47885795的博客
10-22 3579
GRU是LSTM的简化版本，减少了门的数量，使得训练和推理速度更快。它在许多序列建模任务中表现良好，适用于时间序列预测、自然语言处理等领域。
现代循环神经网络：门控循环单元(GRU)
qq_51957239的博客
03-13 9427
门控循环神经网络（Gated Recurrent Neural Network，简称“门控循环神经网络”或“门循环神经网络”）是一种改进的循环神经网络（RNN）架构。它包含了一些门控机制，可以更好地捕捉时间序列数据中的长期依赖关系。门控循环神经网络最早由Hochreiter和Schmidhuber在1997年提出，但是由于当时缺乏计算能力和数据集，它并没有得到广泛应用。后来，在2014年，Cho等人提出了一种简化版的门控循环神经网络，即GRU，它比传统的门控循环神经网络更易于训练和实现
GRU门控循环单元
骑鱼的喵喵的博客
07-09 1437
GRU改变了RNN隐藏层，使其可以更好的捕获深层连接并改善了梯度消失问题。 RNN隐藏层的单元的可视化呈现：     a<x>计算公式：        GRUc= memory cell 记忆细胞GRU中 ，c<t>=a<t>在每个timestep，我们用一个候选值写记忆细胞。cn<t>代替c<t>。GRU真正思想：门Γu是一个在0到1之...
GRU门控循环单元简述
vendetta_gg的博客
07-02 2166
GRU门控循环单元简述 By:Yang Liu 1.什么是门控循环单元GRU 在循环神经⽹络中的梯度计算⽅法中，我们发现，当时间步数较⼤或者时间步较小时，循环神经⽹络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但⽆法解决梯度衰减的问题。通常由于这个原因，循环神经⽹络在实际中较难捕捉时间序列中时间步距离较⼤的依赖关系。 GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term M
GRU门控制循环单元【转载】
weixin_34168700的博客
04-06 193
转自：https://www.infoq.cn/article/sliced-recurrent-neural-networks 1.门控循环单元 GRU GRU 由 reset gate r 和 update gate z 组成。Reset gate 决定有多少之前的记忆需要和新的输入结合，而 update gate 决定多少之前的记忆被保留下来。 其中 x 是输入，h 是隐状态。 ...
动手学深度学习（三十九）——门控循环单元GRU
Liu Feng's Blog
11-09 5120
文章目录门控循环单元（GRU）一、门控隐藏状态1.1 重置门和更新门1.2候选隐藏状态1.3 隐藏状态二、从零实现GRU2.1 初始化模型参数2.2 定义模型2.3 训练与预测2.4 简洁实现三、小结四、练习 再次声明：本文主要参考李沐老师B站动手学深度学习课程进行笔记整理和代码复现。如果需要看视频，可以click。感谢沐神的分享!!! 门控循环单元（GRU）   我们想想对于一个序列而言，有的早期观测值对所有的未来观测值都非常有用，有的观测值对所有的未来预测都没有用，或者说有的序列各个部分之间有逻辑中断。
（十一）门控循环单元（GRU）
Haward
06-09 1万+
1、背景 裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。门控循环神经网络（gated recurrent neural network）的提出，是为了更好地捕捉时间序列中时间步距离较大的依赖关系。其中，门控循环单元（gated recurrent unit，简称GRU）是一种常用的门控循环神经网络 。（其他门控循环神经网络如：长短期记忆） 2、相对RNN的改进 入了门的概念，修改了循环...
门控循环单元
最新发布
03-08
#### 门控机制详解 GRU 的核心在于两个主要组件：重置门(reset gate) 和 更新门(update gate)[^1]。这两个门分别决定了如何组合新输入的数据以及过去记忆的内容： - **更新门** 控制前一个时刻的状态有多少会被保留...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值