LSTM和GRU的对比和分析

最新推荐文章于 2024-03-22 10:58:44 发布
最新推荐文章于 2024-03-22 10:58:44 发布
阅读量1.2w 收藏 31
点赞数 3
分类专栏： 深度学习 文章标签： LSTM GRU 深度学习 RNN 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiongqinhuo1775/article/details/87112054
版权
LSTM和GRU在捕捉长期依赖性方面表现出色，GRU参数较少，易于收敛，而LSTM在大量数据下可能表现更优。GRU有reset和update门，LSTM则有forget、input和output门。LSTM通过output gate控制信息传递，GRU直接传递。两者均通过加法操作避免梯度消失，改善RNN效果。
摘要由CSDN通过智能技术生成

先给出一些结论：

GRU和LSTM的性能在很多任务上不分伯仲。
GRU 参数更少因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好。
从结构上来说，GRU只有两个门（update和reset），LSTM有三个门（forget，input，output），GRU直接将hidden state 传给下一个单元，而LSTM则用memory cell 把hidden state 包装起来。

  1. 基本结构
    1.1 GRU
    在这里插入图片描述

GRU的设计是为了更好的捕捉long-term dependencies。我们先来看看输入ht−1ht−1和x(t)x(t), GRU怎么通过计算输出h(t)h(t)：
在这里插入图片描述

Reset gate

r(t)r(t) 负责决定h(t−1)h(t−1) 对new memory h(t)h(t) 的重要性有多大， 如果r(t)r(t) 约等于0 的话，h(t−1)h(t−1) 就不会传递给new memory h(t)h(t)

new memory

h(t)h(t) 是对新的输入x(t)x(t) 和上一时刻的hidden state h(t−1)h(t−1) 的总结。计算总结出的新的向量h(t)h(t) 包含上文信息和新的输入x(t)x(t).<

最低0.47元/天 解锁文章
超人欧迪伽
关注
专栏目录
LSTM和GRU
weixin_42717395的博客
04-03 508
Long Short Term 网络，一般就叫做 LSTM ，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！ 　　所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。 ...
补充：关于GRU的详细运作原理以及特殊的优化思路
最新发布
weixin_65502565的博客
08-05 842
在GRU中引入一个内部的循环机制，这个机制可以进一步处理候选隐藏状态，以便更好地控制信息流。这种内部循环可以用来模拟更复杂的逻辑处理过程，类似于大脑中的多层次处理。
GRU与LSTM总结
热门推荐
lreaderl的博客
09-18 12万+
一、LSTM（长短期记忆网络）LSTM是一种特殊的RNN类型，一般的RNN结构如下图所示，是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的
GRU 和 LSTM 的对比
ywm_up
08-10 1万+
GRU 和 LSTM 的对比 GRU是LSTM变动较大的变体 LSTM能够解决循环神经网络因长期依赖带来的梯度消失和梯度爆炸问题，但是LSTM有三个不同的门，参数较多，训练起来比较困难。GRU只含有两个门控结构，且在超参数全部调优的情况下，二者性能相当，但是GRU结构更为简单，训练样本较少，易实现。 GRU在LSTM的基础上主要做出了两点改变： GRU只有两个门。GRU将LSTM中的输入门和遗忘门合二为一，称为更新门（update gate），下图中的z(t)，控制前边记忆信息能够继续保留到当前时刻
LSTM 和GRU的区别
Adrianna的专栏
08-31 6万+
Reference： https://cs224d.stanford.edu/lecture_notes/LectureNotes4.pdf Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling https://feature.engineering/difference-between-lstm-a
LSTM GRU区别
Jiashilin
08-07 656
结论： GRU和LSTM的性能在很多任务上不分伯仲。 GRU 参数更少因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好。 从结构上来说，GRU只有两个门（update和reset），LSTM有三个门（forget，input，output），GRU直接将hidden state 传给下一个单元，而LSTM则用memory cell 把hidden state 包装起来。 G...
基于Python实现LSTM、GRU、BiLSTM预测股票价格比较研究（源码+数据+说明文档）.rar
03-27
资源内容：基于LSTM、GRU、BiLSTM预测股票价格比较的Python仿真（完整源码+说明文档+数据）.rar 代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 适用对象：工科生、数学专业、算法等方向学习...
学习符号序列的LSTM和GRU网络的比较_A comparison of LSTM and GRU networks for l
01-30
在时间序列分析和预测领域，递归神经网络（RNN）因其独特的结构，尤其是长短期记忆网络（LSTM）和门控循环单元（GRU），已成为重要的工具。这两种网络都是为了解决传统RNN在处理长距离依赖问题时的梯度消失和梯度...
LSTM、GRU和BiLSTM在股票价格预测中的比较研究.zip
11-18
LSTM、GRU和BiLSTM在股票价格预测中的比较研究.zipLSTM、GRU和BiLSTM在股票价格预测中的比较研究.zipLSTM、GRU和BiLSTM在股票价格预测中的比较研究.zip实验中各个特征在单位和量级上存在差异，比如股票价格和成交量...
一份详细的LSTM和GRU图解，原理+实战讲解
2401_83621095的博客
03-22 1330
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
GRU和LSTM
weixin_45245063的博客
04-02 116
Gated Recurrent Unit 看吴恩达老师的视频学习的GRU，我概括一下。看这句话 The cat,which already ate…,was full. was这个单词显然与cat相关，若是cats，则应该是were。也就是说前后隔了很远的单词之间有依赖关系，基本的RNN网络无法处理这种关系，GRU就是处理这种依赖关系的。 GRU的核心增加一个记忆单元，是当处理cat时，记住这个词，也就是记住可能对后面有用的单词，在处理which、already时，不更新这个记忆单元。下main看看怎么记忆
【学习笔记】【GRU】十八——GRU原理简介与LSTM的比较
杨的博客
10-12 5844
LSTM是RNN的升级版，加了门控装置，解决了长时记忆依赖的问题。但由于门控装置复杂，带来了计算量增加，所以引进了简化版的LSTM，即GRU。本文介绍GRU的基本原理，并将其与LSTM和RNN进行对比，分析它们各自的优劣。 重点理解LSTM中h(t)和C(t)的本质，以及为什么门机制可以解决梯度问题，并且简化计算。 目录 一、从传统RNN说起 二、改进的RNN：LSTM 三、简化版的LSTM：GRU 四、LSTM和GRU的区别和选择 总结 一、从传统RNN说起 传统RNN称为循环神经网络，
LSTM与GRU
学习笔记
01-29 282
由于RNN的梯度计算时,总会有一项Whh的k-i次方， 当i越小， 即(越靠前的层)，Whh的k-i次方会越来越大，所以越前的层的梯度越容易出现梯度爆炸现象。 Gradient clipping LSTM(可以解决梯度爆炸问题) RNN原始模型 LSTM结构 可以看到LSTM的梯度计算公式为4项的和，这样可以防止出现次方项使梯度过大，也不会因为某一项的大小影响总体的梯度稳定。 也可以这样看： 当remember gate way 接近于1时，Ct 将约等于Ct-1，memo
GRU和LSTM区别
03-04 9985
GRU和LSTM的区别在于： ①GRU通过更新门来控制上一时刻的信息传递和当前时刻计算的隐层信息传递。GRU中由于是一个参数进行控制，因而可以选择完全记住上一时刻而不需要当前计算的隐层值，或者完全选择当前计算的隐层值而忽略上一时刻的所有信息，最后一种情况就是无论是上一时刻的信息还是当前计算的隐层值都选择传递到当前时刻隐层值，只是选择的比重不同。而LSTM是由两个参数（遗忘门和输入门）来控制更新的，他们之间并不想GRU中一样只是由一个参数控制，因而在比重选择方面跟GRU有着很大的区别，例如它可以既不选择上一
GRU和LSTM对比
bblingbbling的博客
07-24 2160
GRU和LSTM对比网络结构对比参数量对比 网络结构对比 下图上为GRU的网络结构，下为LSTM的网络结构。 不同的是，GRU将LSTM中的遗忘门和输入门合并成了一个重置门，细胞更新状态变为更新门。 LSTM网络介绍 参数量对比 从下面对比可以看出GRU参数更少，可以减降低过拟合，训练效率更高。 假设输入为： TIME_STEPS = 28 # 时间步 INPUT_SIZE = 28 # 每个时间步的特征长度m CELL_SIZE = 100 # 隐藏神经元个数n OUTPUT_SIZE = 10
GRU与LSTM
lpty的博客
09-23 1万+
一、前言 GRU是LSTM的一种变体，综合来看： 1、两者的性能在很多任务上不分伯仲。 2、GRU 参数相对少更容易收敛，但是在数据集较大的情况下，LSTM性能更好。 3、GRU只有两个门（update和reset），LSTM有三个门（forget，input，output） LSTM还有许多变体，但不管是何种变体，都是对输入和隐层状态做一个线性映射后加非线性激活函数，重点在于额外的门控机制是如何...
LSTM和GRU区别
01-07
LSTM（Long Short-Term Memory）和GRU（Gated Recurrent Unit）是两种常用的循环神经网络（RNN）模型，用于解决序列数据建模中的长期依赖问题。它们在模型结构和计算方式上有一些区别。 LSTM模型结构： LSTM模型由输入门、遗忘门和输出门组成。输入门控制新输入的信息是否进入细胞状态，遗忘门控制细胞状态中的信息是否被遗忘，输出门控制细胞状态中的信息是否输出到下一层。LSTM通过这些门的控制，可以有效地处理长期依赖关系。 GRU模型结构： GRU模型也由更新门和重置门组成。更新门决定了新的输入信息和前一时刻的隐藏状态之间的权重，重置门决定了前一时刻的隐藏状态对当前时刻的影响程度。GRU通过这两个门的控制，可以在一定程度上解决长期依赖问题。 LSTM和GRU的比较： 1. LSTM和GRU在很多情况下表现相似，但是GRU的计算更简单，更易于实现。 2. LSTM具有更复杂的门控机制，可以更好地处理长期依赖关系，但是计算量较大。 3. GRU通过更新门和重置门的控制，可以在一定程度上解决长期依赖问题，计算量较小。 代码实现： 以下是GRU模型的代码实现示例： ```python import torch import torch.nn as nn # 定义GRU模型 class GRUModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(GRUModel, self).__init__() self.hidden_size = hidden_size self.num_layers = num_layers self.gru = nn.GRU(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device) out, _ = self.gru(x, h0) out = self.fc(out[:, -1, :]) return out # 创建GRU模型实例 input_size = 10 hidden_size = 20 num_layers = 2 output_size = 1 model = GRUModel(input_size, hidden_size, num_layers, output_size) print(model) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值