RNN循环神经网络进阶——GRU门控循环和LSTM长短期记忆网络

已于 2022-02-08 00:08:28 修改
阅读量1.3k 收藏 2
点赞数
分类专栏： 动手学深度学习 文章标签： 深度学习 rnn 人工智能
于 2022-02-07 23:44:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45169380/article/details/122794847
版权

目录

门控循环单元的组成

长短期记忆网络的组成 

GRU和LSTM的对比

门控循环单元GRU

RNN不能处理太长的序列，因为序列信息都放在隐藏状态里面，就类似一个带时间序列的MLP, 当时间很长的时候，隐藏状态里累计了太多东西，前面很久的信息就不那么有参考价值了。

因此，观察一个序列时，不是每个观察值同样重要。

而门控循环单元的作用就是通过一些额外的控制单元，选取比较重要的数据内容用来训练循环神经网络。可以通过R和Z的大小，来选择多看现在的Xt还是多看过去隐藏状态Ht-1.

门控循环单元的组成

1、Rt重置门（reset gate）和Zt更新门（update gate）。 我们把它们设计成(0,1)(0,1)区间中的向量， 这样我们就可以进行凸组合。重置门Rt是计算新的隐藏状态时需要多少之前的隐藏状态的信息；更新门Zt是计算新的隐藏状态时，需要多少新的关于Xt的信息。

最低0.47元/天 解锁文章
SaltyFish_Go
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
lstm神经网络实例1
03-12
做预测的小栗子，简单易懂，明了，适合初学者学习使用
为什么GRU可以解决长短记忆的问题
01-06
今天又要打卡了，很遗憾，我并没有太多时间去针对该问题做一个更好的整理和解释，只能把在回顾该模型时所产生的一些问题的主要部分记录一下，待日后能在回顾博客的时候，进一步找到解决方法 为什么GRU可以解决长短记忆的问题 我们知道，GRU是为了应对RNN的梯度爆炸问题，并且为了更好地捕捉到时间序列中时间步距离较大的依赖关系提出来的，因此提出来更新门和重置门的概念，通过两个门的应用，改变隐藏状态的计算方式，进而实现上面所要应对问题的解决方法 重置门有助于捕捉时间序列里短期的依赖关系 更新门有助于捕捉时间序列里长期的依赖关系 其中，重置门控制的是上一时间步的隐藏状态流入当前时间步的候选隐藏状态，即同一句话
循环神经网络(RNN)之门控循环单元(GRU)
深度学习领域优质创作者，CSDN博客专家
08-23 628
GRU的RNN，控制可用与不可用信息的流动
LSTM进阶：使用LSTM进行多维多步的时间序列预测
热门推荐
小EZ的博客
05-17 10万+
各位朋友大家好，今天来讲一下LSTM时间序列的预测进阶。 现在我总结一下常用的LSTM时间序列预测： 1.单维单步（使用前两步预测后一步） 可以看到trainX的shape为 (5,2) trainY为(5,1) 在进行训练的过程中要将trainX reshape为 (5,2,1)(LSTM的输入为 [samples, timesteps, features] 这里的timesteps为...
用GRU实现情感分析：不需要长记忆，也能看懂你的心情
Chaos的博客
03-08 704
长短时记忆网络（LSTM）是一种经典的循环神经网络，用于解决序列建模问题。然而，LSTM的记忆单元需要长期记忆，这在某些任务中可能会导致过度拟合或记忆问题。为了解决这个问题，Cho等人在2014年提出了门控循环单元（GRU）。 GRU的结构比LSTM更简单，只有两个门（更新门和重置门），可以学习相对较短的依赖关系。在某些情况下，GRU的性能甚至优于LSTM。在本文中，我们将介绍GRU的结构和优势，并使用Python代码实现情感分析模型。
NLP-LSTM
xu624735206的博客
04-12 1567
NLP-LSTM一、LSTM介绍二、LSTM拆解1、遗忘门、输入门、输出门2、候选记忆元3、记忆元4、隐藏状态三、总结 一、LSTM介绍 LSTM（Long Short-Term Memory）也称长短时记忆结构，它是传统RNN的变体，与经典RNN相比能够有效捕捉长序列之间的语义关联，缓解梯度消失或爆炸现象，同时LSTM的结构更复杂， 它的核心结构可以分为四个部分：遗忘门、输入门、细胞状态、输出门。 二、LSTM拆解 1、遗忘门、输入门、输出门 就如在 GRU 单元中⼀样，当前时间步的输⼊和前⼀个时间步
PyTorch 实现 循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元网络（GRU）-谢TS的博客.pdf
07-17
循环神经网络（Recurrent Neural Network, RNN）是以 序列...还有 RNN 的加强版 长短期记忆网络（LSTM, Long Short-Term Memory）和 门控循环单元网络（GRU, Gated Recurrent Unit networks）拥有更强的“记忆力”。
基于GRU改进的LSTM门控制长短期记忆网络的股票交易策略设计.docx
10-14
本文研究基于GRU改进的LSTM门控制长短期记忆网络的股票交易策略设计，通过对比LSTM算法与SVM、RNN等算法，证明了LSTM算法更加适合量化投资。然后，文中将LSTM模型与GRU模型进行了对比，发现LSTM-GRU模型建模精准度...
循环神经网络的几个模型
01-20
GRU循环神经网络 RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） ⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 RNN： GRU： Rt=σ(XtWxr+Ht−1Whr+br) Zt=σ(XtWxz+Ht−1Whz+bz) H˜t=tanh(XtWxh...
Python实现GA-TCN-LSTM遗传算法-时间卷积神经网络-长短期记忆网络时间序列预测（完整源码和数据）
最新发布
04-10
2.使用先进的机器学习技术和优化算法开发石油产量预测模型，包括开发遗传算法-时间卷积神经网络-长短期记忆（GA-TCN-LSTM）集成模型，以及对循环神经网络（RNN）、门控循环单元（ GRU）、长短期记忆LSTM）和时间卷积...
基于LSTM神经网络的时间序列预测（LSTM单变量、Multi-Step LSTM预测、长短周期记忆网络等方法）涵盖新手进阶。
06-19
包含多种实际案例 使用LSTM神经网络进行时间序列数据预测分析。 基于Tensorflow框架、Kerase接口开发网络模型。 包含数据清洗，数据特征提取，数据建模，数据预测。 包含洗发水销量预测、空气质量预测等实际案例。 LSTM单变量、Multi-Step LSTM预测、长短周期记忆网络等方法 Keras中长短期记忆模型的5步操作 Keras中长短期记忆模型的5步操作代码分析 one-hotenoder与Keras one-hotenoder与scikit学习 手动one-hotenoder
深度学习基础3——过拟合欠拟合、梯度消失与梯度爆炸、常见循环神经网络
01-20
门控循环神经网络/门控循环单元(GRU)2.LSTM:长短期记忆3.深度循环神经网络(Deep RNN)4.双向循环神经网络(BRNN)   一、过拟合欠拟合 1.概念 欠拟合：训练误差（训练集的损失函数的值）较大。 过拟合：训练误差远远...
循环神经网络进阶（门控循环神经网络、LSTM、深度循环神经网络、双向循环神经网络）
weixin_44696221的博客
02-15 3364
文章目录门控循环神经网络GRU长短期记忆LSTM深度循环神经网络双向循环神经网络 门控循环神经网络GRU 该网络的提出也同样是为了应对普通RNN的梯度问题 基本原理看这一篇就能懂：转载自知乎 简单来说，GRU就是通过一个重置门控和一个更新门控来实现对原隐藏信息的选择性遗忘和对当前节点信息的选择性记忆 可以看到其中的r和z分别是重置门控和更新门控，首先由上一层的隐藏信息ht-1和当先层的输入分别得...
长短时期记忆（LSTM）及门控循环单元（GRU）网络结构
qq_40334856的博客
03-22 4321
一、背景 1、RNN自身可以通过不停的将信息循环操作，保证信息持续存在，从而可以利用前面得事件信息来对后面得事件进行分类操作。 2、RNN处理这类任务时不一定就可以完全得理解之前的记忆，因为在语句过长得情况下，之前的文本内容在传到后期时已经不再具有那么的信息。 （1）在‘the clouds are in the sky’中，如果最后进行预测，则我们可以大概率的将sky进行预测出来。 （2）若在一...
什么是门控循环神经网络（gated recurrent neural network）
KongDere的博客
09-18 556
相较于传统的循环神经网络，门控循环神经网络引入了门控机制，在处理长序列数据和解决长期依赖问题方面具有明显的优势。遗忘门可以选择性地遗忘过去的信息，输入门可以选择性地更新当前的信息，而输出门可以选择性地输出新的信息。更新门决定了在当前时间步上保留多少以前的状态信息，而重置门用于控制如何使用过去的信息。每个时间步的输入会与上一时间步的隐状态进行连接，并通过激活函数得到当前时间步的输出和新的隐状态。在每个时间步，GRNN从输入层接收当前时间步的输入和上一时间步的隐状态，并根据门控机制来更新隐状态或计算输出。
现代循环神经网络：门控循环单元(GRU)
qq_51957239的博客
03-13 6638
门控循环神经网络（Gated Recurrent Neural Network，简称“门控循环神经网络”或“门循环神经网络”）是一种改进的循环神经网络（RNN）架构。它包含了一些门控机制，可以更好地捕捉时间序列数据中的长期依赖关系。门控循环神经网络最早由Hochreiter和Schmidhuber在1997年提出，但是由于当时缺乏计算能力和数据集，它并没有得到广泛应用。后来，在2014年，Cho等人提出了一种简化版的门控循环神经网络，即GRU，它比传统的门控循环神经网络更易于训练和实现
门控网络简介
步子哥的博客
12-18 581
门控网络的主要优点是它们可以解决传统 RNN 中存在的梯度消失问题。梯度消失是指随着时间步的增加，梯度会变得越来越小，最终变为零。门控网络是一种循环神经网络 (RNN)，它使用门来控制信息在时间步之间的流动。门是一种神经网络层，它可以选择性地允许或阻止信息通过。门控网络是一种强大的工具，可以用于解决各种任务。：门控网络用于计算机视觉任务，例如图像分类、目标检测和人脸识别。：门控网络用于自然语言处理任务，例如机器翻译、文本摘要和问答。：门控网络用于音频处理任务，例如语音识别和音乐分析。
循环神经网络（内含LSTM、GRU实战）
qq_23334761的博客
03-21 2598
内含LSTM、GRU实战
序列模型RNN、LSTM、GRU通俗理解（全网之最很通俗）
WGS.
12-20 2783
文章目录带时间序列的任务场景标准神经网络建模的弊端一、RNN1.1 结构1.2 特点1.3 前向传播1.4 损失函数1.5 反向传播1.6 缺点二、LSTM2.1 思路2.22 结构2.23 对比RNN2.3 单元结构2.4 前向传播2.5 记忆细胞2.6 举例理解2.71 遗忘门2.72 更新门2.73 输出门2.8 LSTM缓解梯度消失的原因2.9 缺点三、GRU3.1 单元结构3.2 对比LSTM3.3 举例理解3.4 与LSTM区别3.5 GRU缓解梯度消失的原因 带时间序列的任务场景 标准神经网
什么是长短期记忆网络（LSTM）和门控循环单元（GRU）？
04-01
长短期记忆网络（LSTM）和门控循环单元（GRU都是一种常用循环神经网络（RNN）的体，用于处理序列数据。 LSTM是一种特殊的RNN，它通过引入门控机制来解决传统RNN中的度消失和梯度爆炸问题。STM包含一个记忆单元（cell），该单元可以存储和访问长期记忆。L的核心是三个门：输入门input gate）、遗忘门（forget gate）和输出门（output gate）。输入门控制着新输入的信息是否进入记忆单元，遗忘门控制着旧的记忆是否被遗忘，输出门控制着从记忆单元输出的信息。这些门的开关状态由激活函数（如sigmoid函数）决定，可以根据输入数据自动学习。 GRU也是一种改进的RNN结构，它与LSTM类似，但简化了门控机制。GRU只有两个门：更新门（update gate）和重置门（reset gate）。更新门决定了过去记忆和当前输入之间的权重，重置门决定了过去记忆对当前输入的影响程度。GRU通过这两个门来控制信息的流动和记忆的更新。 这两种模型都在处理序列数据时表现出色，能够捕捉长期依赖关系，并且在自然语言处理、语音识别、机器翻译等任务中取得了很好的效果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值