个人理解关于GRU和LSTM之间的区别和联系

最新推荐文章于 2024-03-22 10:58:44 发布
VIP文章 最新推荐文章于 2024-03-22 10:58:44 发布
阅读量6.9k 收藏 11
点赞数 1
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MICSF/article/details/81025834
版权

首先通过公式我认为GRU（“Learning Phrase Representations using RNN EncoderDecoder for Statistical Machine Translation”）里的h与LSTM里的C是非常类似的，与之相对应的是GRU里的和LSTM里的非常类似。区别在于控制隐藏状态更新的参数，GRU里的控制参数有两个，一个是重置门r，另一个是更新门z；而LSTM有输入门、遗忘门、输出门；在进行隐藏状态更新时，GRU更新公式如下：


最低0.47元/天 解锁文章
MICSF
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
LSTM 和GRU
u013382092的专栏
05-25 124
这几天去就纠结一下RNN，然后老板让我详细解释RNN LSTM GRU。所以开始找博客看。然后发现大家的博客咋都内容差不多，图也差不多。 于是自己记笔记。。方便以后自己开组会的时候写总结。 最后再去啃啃论文。。。直接上论文有点难受。。毕竟一周时间还得干别的。。不能光看论文了。。。 参考的这个老哥https://blog.csdn.net/heyongluoyao8/article/details/48636251，还有B站的一些视频。 RNN的话， st=f(Uxt+Wst−1) ...
LSTM与GRU有什么联系和区别？
空字符
04-04 1525
LSTM结构中的C（cell），和GRU结构中的H（隐藏单元），有什么联系和区别？ LSTM中的C和GRU中的H都是经过了遗忘和输入门（GRU中的更新们也是由遗忘和输入门组成的），也都是未经过输出门而直接往后传递的。他们有什么区别呢？ 我自己的猜想：GRU的重置门就相当于LSTM中的更新门。 LSTM中的C经过输出门之后形成了H，因为有输出门所以H更关注当前状态的信息，而C携带者之前的所有状态的...
GRU 和 LSTM 的对比
ywm_up
08-10 1万+
GRU 和 LSTM 的对比 GRU是LSTM变动较大的变体 LSTM能够解决循环神经网络因长期依赖带来的梯度消失和梯度爆炸问题，但是LSTM有三个不同的门，参数较多，训练起来比较困难。GRU只含有两个门控结构，且在超参数全部调优的情况下，二者性能相当，但是GRU结构更为简单，训练样本较少，易实现。 GRU在LSTM的基础上主要做出了两点改变： GRU只有两个门。GRU将LSTM中的输入门和遗忘门合二为一，称为更新门（update gate），下图中的z(t)，控制前边记忆信息能够继续保留到当前时刻
一份详细的LSTM和GRU图解，原理+实战讲解
最新发布
2401_83621095的博客
03-22 974
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
Task03:过拟合、欠拟合及其解决方案/梯度消失、梯度爆炸/循环神经网络进阶
u012117153的博客
02-17 949
1 过拟合、欠拟合及其解决方案 训练误差和泛化误差 在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。计算训练误差和泛化误差可以使用之前介绍过的损失函数，例如线性回归用到的平方损失函数...
一文读懂LSTM和GRU
cz的博客
12-08 2574
简介LSTM与GRU
神经网络学习（2）：FFNN，P，RNN，LSTM，GRU……
clover_my的博客
05-14 1万+
神经网络学习（2）：P，FF，RBF，DFF，RNN，LSTM，CNN…… THE NEURAL NETWORK ZOO 其中大多数是神经网络，但也有些完全不同。此列表并不全面，仍需不断更新。 将它们绘制为节点映射的一个问题是：它并没有真正显示它们是如何被使用的。例如，变分自动编码机（VAE）可能看起来就像自动编码机（AE），但训练过程实际上是完全不同的。受过训练的网络的用例差别更大，因为VA...
LSTM 和GRU的区别
热门推荐
Adrianna的专栏
08-31 6万+
Reference： https://cs224d.stanford.edu/lecture_notes/LectureNotes4.pdf Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling https://feature.engineering/difference-between-lstm-a
GRU的原理，以及LSTM比较
None_Pan的博客
06-02 2873
门控循环单元（GRU）是较流行的长期短期记忆（LSTM）网络的年轻兄弟，也是一种循环神经网络（RNN）。 就像它的兄弟一样，GRU能够有效保留顺序数据中的长期依赖性。 此外，他们还可以解决困扰普通RNN的“短期记忆”问题。 门控循环单元（GRU）是RNN体系结构的一种变体，它使用门控机制来控制和管理神经网络中细胞之间的信息流。 GRUs仅在2014年由Cho等人引入。 并且可以认为是相对较新的体系结构，尤其是与Sepp Hochreiter和JürgenSchmidhuber在1997年提出的LSTM相比。
循环神经网络（RNN）中的LSTM和GRU模型的内部结构与意义
兔角与禅
02-25 4065
LSTM和GRU的基本结构 循环神经网络 RNN 是一种很重要的网络结构模型，通过每个时刻利用当前的输入以及之前的输出，在同一个单元产生当前时刻的输出，从而可以用来处理具有一定时序的问题，比如语音信号处理，机器翻译，股票走势等等。RNN的基本单元如下： 左边表示RNN的R，即循环调用自身，而右边是RNN的展开形式，unrolled form，可以看成一个复制了很多个同样copy的链...
GRU与LSTM
lpty的博客
09-23 1万+
一、前言 GRU是LSTM的一种变体，综合来看： 1、两者的性能在很多任务上不分伯仲。 2、GRU 参数相对少更容易收敛，但是在数据集较大的情况下，LSTM性能更好。 3、GRU只有两个门（update和reset），LSTM有三个门（forget，input，output） LSTM还有许多变体，但不管是何种变体，都是对输入和隐层状态做一个线性映射后加非线性激活函数，重点在于额外的门控机制是如何...
keras_ LSTM 层和 GRU 层
01-06
6.2.2 理解 LSTM 层和 GRU 层 参考： https://blog.csdn.net/qq_30614345/article/details/98714874 6.2.4　小结 现在你已经学会了以下内容。 ‰ 循环神经网络（RNN）的概念及其工作原理。 ‰ 长短期记忆（LSTM）是...
深入理解LSTM
10-12
深入理解RNN和LSTM，对LSTM的解剖深刻，每一个公式意义说明详细。
rnn,lstm与GRU详解
05-20
三种循环神经网络的介绍与比较，帮助大家对循环神经网络的理解
Match-LSTM:Match-LSTM，R-NET和M-Reader的PyTorch实施，用于机器阅读理解
05-08
匹配LSTM 在这里我们在SQuAD上实现MatchLSTM（Wang and Jiang 2016）模型，R-Net（Wang et al.2017）模型和M-Reader（Hu et al.2017）（Rajpurkar et al.2016）。 也许有些细节与最初的论文有所不同。 要求 python...
RNNVis:用于理解和调试RNN的可视化工具
04-29
该项目的主要目标是探索可能的方法，以帮助更好地理解RNN模型（Vanilla RNN，LSTM，GRU等），并帮助从业人员调试其模型和数据，并帮助研究人员改善模型架构和性能。 注意：这是一个未开发的项目。 设置 安装...
CS224d 之学习总结-第二部分
diaofengzhi8607的博客
08-23 201
转载注明出处： http://www.cnblogs.com/NeighborhoodGuo/p/4752319.html 第二部分总结 这一部分主要讲了四个对NLP方面效果比较好的模型：1.GRUs(Gated Feedback Recurrent Neural Networks)　　2.LSTMs(Long Short-Term Memory])　　3.Recurrent...
LSTM和GRU区别与联系
倾城之恋的专栏
08-03 1335
LSTM和GRU都是特殊的RNN架构，都是为了解决梯度消失问题而生。GRU可以认为是简化版本的LSTM。 GRU具体两个门结构：重置门和更新门。重置门用来控制新的信息如何与前面的记忆结合，更新门用来控制当前新的记忆与过去的记忆结合。 重置门： r=σ(U1xt+W1ht−1)r=\sigma(U_1x_t+W_1h_{t-1})r=σ(U1​xt​+W1​ht−1​) 更新门： z=σ(U2xt+...
GRU和LSTM
qq_40887371的博客
04-05 4573
GRU和LSTM LSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。 更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面 GRU门控循环单元 他能够让你可以在序列中学习非常深的连接 GRU相当于LSTM的简化版 基本原理 引入两个信息控制门 Γu=σ(ωu[c⟨t−1⟩,
lstm与gru的联系
07-28
回答: LSTM（长短期记忆网络）和GRU（门控循环单元）都是循环神经网络（RNN）的变体，用于解决RNN中的长期依赖问题。LSTM和GRU在整体形式上有一些相似之处。它们都具有门控机制，可以选择性地记忆和遗忘信息。LSTM通过三个门（输入门、遗忘门和输出门）来控制信息的流动，同时还有一个细胞状态来存储和传递信息。GRU则通过两个门（更新门和重置门）来控制信息的流动，同时还有一个隐藏状态来存储和传递信息。在细节上，GRU使用共享的门来减弱和加强信息，而LSTM使用不同的门来控制不同的信息流动。总的来说，LSTM和GRU都是用于解决长期依赖问题的有效工具，但在具体实现上有一些差异。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* [理解LSTM网络](https://blog.csdn.net/u014221266/article/details/49871877)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [LSTM与GRU有什么联系和区别？](https://blog.csdn.net/The_lastest/article/details/105316829)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值