【机器学习】GRU 讲解

最新推荐文章于 2024-07-29 17:07:37 发布
最新推荐文章于 2024-07-29 17:07:37 发布
阅读量2.8k 收藏 9
点赞数 1
分类专栏： 【机器学习】 文章标签： gru lstm 人工智能 rnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46221946/article/details/128615094
版权
本文详细介绍了GRU（门控循环单元），作为RNN的一种变体，旨在解决长期依赖问题。GRU拥有重置门和更新门，通过门控机制控制历史信息的遗忘和新信息的保留。当重置门开启时，GRU能够有效地处理短期依赖，而更新门则用于控制长期信息的传递。与LSTM相比，GRU在结构上进行了简化，但仍能捕捉长期依赖关系。
摘要由CSDN通过智能技术生成

有任何的书写错误、排版错误、概念错误等，希望大家包含指正。

在阅读本篇之前建议先学习：
RNN 讲解
LSTM 讲解

3. GRU

3.1. 网络结构

GRU 是循环神经网络的一种，和 LSTM 一样，是为了解决长期依赖问题。GRU 单元结构如下。

在这里插入图片描述

图 1    GRU 模型单元

其中，黄色矩形表示一层神经网络，包含权重和激活函数，矩形中的符号表明激活函数的类型， σ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不牌不改
关注
专栏目录
订阅专栏
GRU（Gated Recurrent）神经网络介绍及公式推导
07-08
GRU（Gated Recurrent Unit）神经网络是LSTM 的一个变体，GRU 在保持了LSTM 的效果同时又使结构更加简单，是一种非常流行RNN 神经网络，它只有两个门了，分别为更新门t z 和重置门tr 。更新门控制前一时刻的状态信息被带入到当前状态中的程度，值越大前一时刻的状态信息带入越多。重置门控制忽略前一时刻的状态信息的程度，值越小说明忽略得越多。
深度学习中的循环神经网络GRU详解
sinat_36618660的博客
09-13 1万+
(一)、什么是循环神经网络GRU？ GRU指的是门控循环单元（Gated Recurrent Units ），它是循环神经网络中的一种门控机制，是由Kyunghyun Cho等人于2014年引入的，它与具有遗忘门的长短期记忆网络（LSTM）相类似。 (二)、GRU实现记忆的原理是什么？ 参考：深度学习中的循环神经网络LSTM详解 2.1 GRU网络原理图 (三)、GRU的原理公式是什么？ 经典的...
01 时间序列预测模型
最新发布
weixin_53731307的博客
07-29 945
LSTM与Autoencoder结合体在非线性时间序列预测中具有强大的特征学习和建模能力，能够处理复杂的非线性关系，并提供高效的异常检测。是为了增强模型在处理长序列数据时的能力，特别是在序列到序列（seq2seq）任务中，如机器翻译、文本摘要和时间序列预测中。：在LSTM与Autoencoder的结合体中，LSTM网络用于处理序列数据，而Autoencoder用于捕捉数据的低维特征表示。总的来说，GRU和LSTM都是处理序列数据的强大工具，选择使用哪一种模型通常取决于具体的应用需求和资源限制。
RNN, LSTM, GRU模型结构详解（看这一篇就够了）
lyj223061的博客
11-14 8009
RNN和LSTM讲解超详细的文章 https://zhuanlan.zhihu.com/p/32085405 GRU超详解文章 https://zhuanlan.zhihu.com/p/32481747
GRU算法详解
woshiliulei0的专栏
05-29 2万+
一、原因 前面我们讲了一种普通的LSTM，事实上LSTM存在很多变体，许多论文中的LSTM都或多或少的不太一样。在众多的LSTM变体中，GRU (Gated Recurrent Unit)也许是最成功的一种。它对LSTM做了很多简化，同时却保持着和LSTM相同的效果。因此，GRU最近变得越来越流行。 二、定义 ...
【机器学习】详解 GRU
闻韶
07-18 1万+
【机器学习】详解 GRU
RNN及LSTM、GRU详解，附pytorch代码解释，超详细讲解
m0_59156726的博客
06-13 3449
拿chatgpt给的答案，这就是这次的全部了，重要一点rnn都是历史的产物了，但是是基础，后面有机会在看transform如何克服rnn这些缺点，一度逆袭的。RNN：可以处理时间序列数据，具有记忆功能，能够传递信息；网络结构简单，易于实现；可以接受任意长度的输入。长期依赖关系不佳，容易出现梯度消失或爆炸问题；训练过程中参数更新困难，容易过拟合；难以处理变长的输入数据。LSTM：具有很好的长期依赖性，能够处理长序列数据；
门控循环单元网络GRU详解
qq_40231344的博客
06-24 1788
为了改善循环神经网络的长程依赖问题，在 梯度消失是循环网络的主要问题除了使用一些优化技巧外更有效的方式就是改变模型比如让U = I同时令 ∂ht/∂ht= I 为单位矩阵即ht = ht−1 + g(xt; θ), (其中g(·)是一个非线性函数，θ 为参数ht和ht−1 之间为线性依赖关系，且权重系数为1，这样就不存在梯度爆炸或消失问题。但会出现梯度爆炸和记忆容量问题 的基础上引入门控机制来控制信息的累计速度。括有选择地加入新的信息，并有选择地遗忘之前累积的信息。这一类网络可以称为基于门控的循环神
GRU 浅析
晓野豬
09-17 9648
门控循环单元 (Gate Recurrent Unit, GRU) 于 2014 年在论文《》中提出。GRU 是循环神经网络的一种，和 LSTM 一样，是为了解决长期依赖问题而提出。GRU 总体结构与 RNN 相似，如下图所示。但其内部结构 (思想) 却与 LSTM 更加相似，如下图所示。LSTM 使用三个门 (遗忘门、输入门和输出门) 来控制信息传递，GRU 只使用了两个门 (重置门和更新门)。与 LSTM 相比，GRU 去除了单元状态，转而使用隐藏状态来传输信息。
门控循环单元网络(GRU)在机器学习中的应用：模型优化与性能提升
程序员光剑
07-19 3160
作者：禅与计算机程序设计艺术 由于NLP领域的一些新兴技术，如Transformer、BERT等，使得采用深度学习方法进行文本分类成为可能。然而，这些深度神经网络模型对于长序列数据的处理能力存在限制，因此在某些情况下需要进一步优化模型架构和训练参数，才能达到更好的效果。门控循环单元网络（GRU）是一种递归神经网络，它可以解决长期依赖的问题
rnn,lstm与GRU详解
05-20
三种循环神经网络的介绍与比较，帮助大家对循环神经网络的理解
深度学习500问机器学习
03-05
深度学习与机器学习是当前人工智能领域中的两大核心技术，它们在图像识别、自然语言处理、推荐系统等众多应用中发挥着至关重要的作用。本资源“深度学习500问机器学习”可能是一个综合性的资料集合，涵盖了从基础...
Keras学习：07.GRU讲解及实践
睡前人工智能共享实验室
07-20 668
介绍 GRU(Gated Recurrent Unit)是由Cho, et al. (2014) 提出，是LSTM的一种变体。GRU的结构与LSTM很相似，LSTM有三个门，而GRU只有两个门且没有细胞状态，简化了LSTM的结构。而且在许多情况下，GRU与LSTM有同样出色的结果。GRU有更少的参数，因此相对容易训练且过拟合问题要轻一点。 一、GRU原理讲解 下图展示了GRU的网络结构，GRU的网络结构和LSTM的网络结构很相似，LSTM中含有三个门结构和细胞状态，而GRU只有两个门结构：更新...
GRU解析
weixin_43819408的博客
09-01 1242
GRU模型如下，它只有两个门了，分别为更新门和重置门，即图中的ztz_tzt​和rtr_trt​。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。 1、计算重置门rt和候选状态 重置门rt用来控制候选状态的计算是否依赖于上一时刻的状态ht-1。 当前时刻的候选状态为： 2、计算更新门zt和当前状态ht 更新门zt用来控制当前状态ht需要从历史状态ht-1中保留多少信息，以及
GRU理解
莫一丞元
09-06 735
概述 GRU（Gated Recurrent Unit）是Cho在2014年提出，为LSTM的一个变种，GRU保持了LSTM的效果、结构更加简单易于训练，同时也可以解决长短时记忆和梯度问题。 在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型将细胞状态和隐藏状态进行混合，其中只有两个门：分别是更新门和重置门。具体结构如下图所示： 前向传播 ...
深度学习--GRU（门控循环单元）原理详解
wenqiwenqi123的博客
06-15 2万+
上一篇中已经总结了RNN的原理，传送门：https://blog.csdn.net/wenqiwenqi123/article/details/80704528本文讲解一下GRU的原理，GRU对于RNN中的梯度消失有很大帮助。GRU即Gated Recurrent Unit。前面说到为了克服RNN无法很好处理远距离依赖而提出了LSTM，而GRU则是LSTM的一个变体，当然LSTM还有有很多其他的变...
GRU简介
热门推荐
筱筱思的博客
04-28 6万+
循环神经网络的隐含层变量梯度可能出现衰减或爆炸，虽然梯度裁剪可以应对梯度爆炸，但无法解决梯度衰减的问题。 门控循环神经网络（gated recurrent neural network）是为了更好地捕捉时序数据中间隔较大的依赖关系,门控循环单元（gated recurrent unit, GRU)是一种常用的门控循环神经网络。 GRU（Gate Recurrent Unit）是循环神经网络的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而
GRU详解全网最强大厂面试级深度的知识点整理
Xu_Wave
02-07 1251
GRU面试整理
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不牌不改

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值