RNN：basic RNN,LSTM and GRU

最新推荐文章于 2023-04-02 23:48:48 发布
最新推荐文章于 2023-04-02 23:48:48 发布
阅读量448 收藏
点赞数
分类专栏： 计算机语言基础 文章标签： rnn lstm gru deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rebaccaminmin/article/details/84958875
版权
本文介绍了基本的RNN模型及其在处理历史信息上的局限性，接着详细阐述了LSTM的三个门控机制以及其工作原理，并对比了GRU，它是LSTM的简化版，训练更快，需要的数据更少。最后提到了几种常见的激活函数，如ReLU、Sigmoid和tanh。
摘要由CSDN通过智能技术生成

RNN：basic RNN,LSTM and GRU


写在前面：这篇blog没有很多文字，都是图片，截取自我们一个课的ppt。本科的时候看lstm的paper也曾写过一些博客，但是感觉paper看完当时可能记住了，但很难帮助记忆。研究生上了一门kdd的课程，正好老师讲到了rnn，给的这些图和例子，非常浅显易懂。特此编辑一下，也算是知识的传播了。

BASIC RNN

基本的RNN 模型就是在神经网络上加个loop.
在这里插入图片描述

缺点也很明显，模型也太简单了。rnn，就是为了用上history information，但是只用一个简单的激活函数去用到了上一个timestamp的历史值，想得到好的训练结果比较难。（以下摘自kdd课件）
在这里插入图片描述

LSTM

存在3个特征门控制：
forget feature:用来决策‘忘掉’一些变量信息。
input feature:用来决策‘选择’输入变量的部分信息作为真正的输入，决策输入变量的权重。
output feature: 用来决策‘选择’输出变量的部分信息作为真正的输出，决策输出变量的权重。
一共包括了六个门gate：
forget gate:

最低0.47元/天 解锁文章
Rebaccaminmin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RNN-LSTM-GRU
Shingle_的博客
09-06 1495
循环神经网络（Recurrent Neural Network, RNN） 假设 Xt∈Rn×dXt∈Rn×d{X}_t \in \mathbb{R}^{n \times d} 是序列中时间步 t 的小批量输入 Ht∈Rn×hHt∈Rn×h{H}_t \in \mathbb{R}^{n \times h} 该时间步的隐藏层变量。跟多层感知机不同在于这里我们保存上一时间步的隐藏变量 Ht−1H...
难以置信！LSTM和GRU的解析从未如此清晰（动图+视频）
热门推荐
AI科技大本营
09-29 5万+
作者 |Michael Nguyen编译 | 蔡志兴、费棋编辑 | Jane出品 | AI科技大本营【导语】机器学习工程师 Michael Nguyen 在其博文中发布...
【TensorFlow】实现Basic RNN
bqw的博客
12-09 477
该模型是一个Seq2Seq的模型： 输入：(0,1)序列；例如x = (1,1,1,0,0,0,1,1) 标签：输出(0,1)序列右移若干位后的序列；例如将x右移2位后，y=(0,0,1,1,1,0,0,0) 因此该模型的作用是给定一个(0,1)序列，预测其右移若干位后的序列。 import numpy as np import tensorflow as tf import matplotl...
LSTM and GRU
Geek
04-11 219
LSTM和GRU
qq_20849045的博客
03-05 519
摘自《基于递归神经网络的文本分类研究》https://www.cnblogs.com/taojake-ML/p/6272605.htmlhttp://www.sohu.com/a/197204613_115128递归神经网络RNN。可以对序列数据进行很好的建模，能够充分地利用序列信息。由于RNN是依次对文本中的每个单词进行语义合成，因此它可以适应变长的句子，即不要求文本长度的统一，对长文本和短文本...
rnn笔记本：RNN（SimpleRNN，LSTM，GRU）Tensorflow2.0和Keras笔记本（车间材料）
02-04
RNN（SimpleRNN，LSTM，GRU）Tensorflow2.0和Keras笔记本（车间材料） 滑梯 视频 某些部分是可以自由地从我们的也可以购买一个完整的软件包，包括从波斯32个视频 笔记本电脑 RNN简介： 我们如何推断不同的序列长度...
pytorch 实现gru_STEP-2:RNN:GRU、LSTM-Pytorch
weixin_39565390的博客
12-19 193
感谢伯禹学习平台，本次学习将记录记录如何使用Pytorch高效实现网络，熟练掌握Pytorch的基础知识,记录不包含理论知识的细节展开一：GRU和LSTM-Pytorch实现GRU结构，来自教学平台的图片GRU结构示意图LSTM结构，来自教学平台的图片LSTM结构示意图二者的具体实现如下# 导入Pytorchimport torchimport torch.nn as nn# 定义GRU层，voc...
Python深度学习（包含：BILSTM、LSTM、GRU 、BP
05-15
GRU是另一种解决RNN梯度问题的结构，它比LSTM简单，但通常能达到相近的效果。GRU有两个门——重置门和更新门，它们共同控制单元状态的更新。GRU在某些情况下能更快地训练，且需要更少的参数，适合处理内存有限或计算...
循环神经网络的进化：PyTorch中的LSTM、GRU与更多
最新发布
07-19
随着技术的发展，RNN 已经演化出了多种变种，其中最著名的包括长短期记忆网络（LSTM）和门控循环单元（GRU）。这些模型因其能够解决长序列依赖问题而备受关注。PyTorch 作为深度学习领域的佼佼者之一，提供了强大的...
RNN GRU LSTM
weixin_43758551的博客
07-26 185
RNN，LSTM，GRU简单图解： 难以置信！LSTM和GRU的解析从未如此清晰（动图+视频） lstm(一) 演化之路 一步一步带你用TensorFlow玩转LSTM https://blog.csdn.net/dqcfkyqdxym3f8rb0/article/details/82922386 https://www.cnblogs.com/lovychen/p/9374277.html h...
Pytorch学习笔记13——Basic_RNN
qq_50749521的博客
07-11 444
pytorch basic_RNN
RNN，GRU，LSTM
aitie1479的博客
08-29 132
2019-08-2917:17:15 问题描述：比较RNN，GRU，LSTM。 问题求解： 循环神经网络 RNN 传统的RNN是维护了一个隐变量 ht用来保存序列信息，ht基于 xt和 ht-1来计算ht。 ht= g( Wixt+ Uiht-1+ bi) yt= g( Woht+ bo) 门控循环神经网络 GRU ...
大话循环神经网络RNN、LSTM、GRU
全栈O-Jay的博客
04-02 2723
一文极速了解循环神经网络RNN、LSTM、GRU！
Coursera Deep Learning笔记 序列模型（一）循环序列模型[RNN GRU LSTM]
豆子
06-19 402
参考1参考2参考3 1. 为什么选择序列模型 序列模型能够应用在许多领域，例如： 语音识别 音乐发生器 情感分类 DNA序列分析 机器翻译 视频动作识别 命名实体识别 这些序列模型都可以称作使用标签数据(X,Y)作为训练集的监督式学习，输入x和输出y不一定都是序列模型。如果都是序列模型的话，模型长度不一定完全一致。 2. Notation(标记) 下面...
一份详细的LSTM和GRU图解
AI浩
09-19 906
在这篇文章中，我们将从LSTM和GRU背后的直觉开始。然后我（Michael）将解释使LSTM和GRU表现良好的内部机制。如果你想了解这两个网络背后的机制，那么这篇文章就是为你准备的。 短期记忆 RNN受到短期记忆的影响。如果序列很长，他们将很难将信息从较早的时间步传送到后面的时间步。因此，如果你尝试处理一段文本进行预测，RNN可能会遗漏开头的重要信息。 在反向传播期间，RNN存在梯度消失的问题（梯度用于更新神经网络权重的值）。梯消失度问题是当梯度反向传播随着时间的推梯度逐渐收缩。如果梯度值变得非常小，则不
RNN、LSTM和GRU的简单介绍
weixin_43774841的博客
11-09 1160
1、RNN（Recurrent Neural Network） 1.1为什么会有RNN的出现？   因为以往的神经网络都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是现实生活中很多情况是，这一个的输入需要参照前面一个的输入的.   比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。（用联系的眼光去看待各个神经元，而不是孤立而片面地去看待每
【TensorFlow】使用BasicRNNCell实现RNN
bqw的博客
12-12 871
该模型是一个Seq2Seq的模型： 输入：(0,1)序列；例如x = (1,1,1,0,0,0,1,1) 标签：输出(0,1)序列右移若干位后的序列；例如将x右移2位后，y=(0,0,1,1,1,0,0,0) 因此该模型的作用是给定一个(0,1)序列，预测其右移若干位后的序列。 import numpy as np import tensorflow as tf import matplotl...
深度学习之RNN、LSTM、GRU篇
weixin_42028608的博客
02-28 789
写在前面，作为RNN篇学习的记录 参考1：https://blog.csdn.net/mpk_no1/article/details/72875185 参考2：https://blog.csdn.net/lreaderl/article/details/78022724 RNN（ Recurrent Neural Networks循环神经网络） 循环神经网络的主要用途是处理和预测序列数据，在全连接...
深入解析循环神经网络RNN：从基础到LSTM、GRU、BRNN
"这是一份关于RNN循环神经网络的详细PPT，内容涵盖50页，重点讲解了LSTM、GRU、BRNN、BLSTM等多个RNN变体的原理和应用场景。PPT经过多次修订，质量较高，适合用于会议分享。" 循环神经网络（RNN）是深度学习中处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值