GRU & LSTM

已于 2022-03-09 17:00:16 修改
阅读量1.2k 收藏
点赞数
分类专栏： 深度学习 文章标签： gru lstm rnn
于 2022-03-09 16:12:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Bryan__/article/details/123373026
版权

参考: c人人都能看懂的LSTM - 知乎

人人都能看懂的GRU - 知乎

GRU是RNN的一种结构,设计思路来源于LSTM,现在大都使用GRU来代替LSTM.因为效果差不多,但是计算更简单,LSTM计算稍微复杂了点.他们都是为了解决长期记忆和反向传播中的梯度等问题而提出来的.

1.介绍一些定义

GRU里面2个重要的门控,reset和update.

h为隐藏层(hidden),t,t-1, ' 表示时间状态.

x为输入,y为输出

\odot为哈达码积,即对应元素相乘

\oplus为矩阵加法操作

2.介绍一些运算

通常,RNN的计算为上一次隐藏层(h^{t-1})+输入(x^{t})得到输出(y^{t}),和下一个隐藏层h^{t}

在GRU内部有重置门和更新门,重置向量和更新向量具体计算步骤如下

其中\sigma为激活函数,sigmoid,W为可学习的权重矩阵,r为重置门的权重向量,z为更新门的权重向量

2.1 进一步通过重置门得到

h^{t-1^{'}}=h^{t-1}\odot r

h^{'}=tanh(W\otimes concat(x^{t},h^{t-1^{'}})))

这里的h^{'}主要是包含了当前输入x^{t}的数据

2.2 再来计算更新门的数据,在这个阶段，我们同时进行了遗忘和记忆两个步骤

h^{t}=(1-z)\odot h^{t-1}+z\odot h^{'}

由2.1的计算得知z为更新门权重,z越大,记忆当前状态越多,遗忘t-1状态越多.门控信号越接近1，代表”记忆“下来的数据越多；而越接近0则代表”遗忘“的越多。

GRU计算性能的提升就在于此,使用一个门控就可以同时进行遗忘和记忆

结合上述，这一步的操作就是忘记传递下来的h^{t-1}中的某些维度信息，并加入当前节点输入的h^{'}某些维度信息。

2.3 最后计算输出

y^{t}=W\otimes h^{t}

这时候反过来再看这张图就很容易理解GRU是怎么运行的了

3.作为对比,看下LSTM原理

LSTM有2个隐藏层,h和c

有3个门控,f=forget,i=infomation,o=output

z这一层的计算都是类似的,,输入完全相同,i,f,o的权重w不同,z为对输入的变换

tanh将数据变换为-1到1,sigmoid将数据变换为0-1作为权重

 

Bryan__
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python进行GRU和LSTM
12-21
加载包 import numpy as np import pandas as pd import math #Sequential多个网络层的线性堆叠；Dense隐含层 from keras.models import Sequential from keras.layers import Dense from keras.layers import LSTM from keras.layers import SimpleRNN from keras.layers import GRU from sklearn.preprocessing import MinMaxScaler from s
LSTM和GRU网络的介绍和区别
shawroad的博客
04-23 1万+
目录 LSTM GRU 最后说一下LSTM和GRU的区别 LSTM 首先看一下LSTM的结构： 我们将结构拆开看： 遗忘门： 就是将上一层的输出，和本层的输入联合起来乘个权重，加个偏置。最后经过一个sigmoid。。sigmoid函数值为0代表忘记 记忆门： C_{t-1}就是来自上一层记忆，我们现在要计算本层传给下一层的记忆 C...
基于MATLAB的GRU和LSTM并行网络
06-11
这是一个GRU和LSTM并行的网络，用于处理分类问题，压缩包里包含了数据集，分类准确率高达99%。 模型：GRU和LSTM并行分别提取特征，concat特征，然后输入到分类器（svm）中。
循环神经网络
qq_37747189的博客
12-05 1265
RNN（循环神经网络） 神经网络 在介绍循环神经网络之前，先介绍一下常见的神经网络的结构，训练神经网络，无非是通过给定的输入x，通过一层一层的黑盒子，在不断修改黑盒子的参数过程后，得到特定的输出结果y。 这一层层的黑盒子对应一个又一个的函数，共同构成我们的神经网络模型。经典的神经网络结构如下图： 那么为什么需要RNN呢？ 为什么需要RNN 在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考，也就是说我们在学习新的东
【学习笔记】【GRU】十八——GRU原理简介与LSTM的比较
杨的博客
10-12 4392
LSTM是RNN的升级版，加了门控装置，解决了长时记忆依赖的问题。但由于门控装置复杂，带来了计算量增加，所以引进了简化版的LSTM，即GRU。本文介绍GRU的基本原理，并将其与LSTM和RNN进行对比，分析它们各自的优劣。 重点理解LSTM中h(t)和C(t)的本质，以及为什么门机制可以解决梯度问题，并且简化计算。 目录 一、从传统RNN说起 二、改进的RNN：LSTM 三、简化版的LSTM：GRU 四、LSTM和GRU的区别和选择 总结 一、从传统RNN说起 传统RNN称为循环神经网络，
深度学习之RNN、LSTM、GRU篇
weixin_42028608的博客
02-28 764
写在前面，作为RNN篇学习的记录 参考1：https://blog.csdn.net/mpk_no1/article/details/72875185 参考2：https://blog.csdn.net/lreaderl/article/details/78022724 RNN（ Recurrent Neural Networks循环神经网络） 循环神经网络的主要用途是处理和预测序列数据，在全连接...
时间序列预测之为何舍弃LSTM而选择Informer？(Informer模型解读）
pengxiang1998的博客
11-06 1万+
Figure 1: (a) LSTF can cover an extended period than the short sequence predictions, making vital distinction in policy-planning and investment-protecting. (b) The prediction capacity of existing methods limits LSTF’s performance. E.g., starting from leng
GRU(Gated Recurrent Unit) 更新过程推导及简单代码实现
weixin_33849215的博客
11-17 837
GRU(Gated Recurrent Unit) 更新过程推导及简单代码实现RNN GRU matlab codesRNN网络考虑到了具有时间数列的样本数据，但是RNN仍存在着一些问题，比如随着时间的推移，RNN单元就失去了对很久之前信息的保存和处理的能力，而且存在着gradient vanishing问题。 所以有些特殊类型的RNN网络相继被提出，比如LSTM(long short ter...
GRU和LSTM
qq_40887371的博客
04-05 4544
GRU和LSTM LSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。 更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面 GRU门控循环单元 他能够让你可以在序列中学习非常深的连接 GRU相当于LSTM的简化版 基本原理 引入两个信息控制门 Γu=σ(ωu[c⟨t−1⟩,
神经网络高阶技巧2--采用CuDNNLSTM，别再用LSTM了！
三年研究生能改变多少
05-06 1万+
以后别再说自己用LSTM()了！ CuDNNLSTM与LSTM都是keras.layers里的实现lstm的单元。那么二者有什么区别呢？CuDNNLSTM肯定是只能用在GPU下，但是LSTM也是可以用在GPU下的啊。 所以问题是：在你拥有GPU资源的情况下（默认拥有）,我应该选用哪一种呢？ 答案是CuDNNLSTM！ 1.原因： In my case, training a model with ...
pso-gru-lstm：PSO优化GRU-LSTM超参数
02-19
PSO优化GRU-LSTM超参数 1、摘要 本文主要讲解：使用PSO优化GRU-LSTM超参数，神经元个数、学习率、dropout和batch_size 主要思路： 建立GRU-LSTM模型 定义PSO的参数：最大迭代次数、最大惯性权重、最小惯性权重、...
Python进行GRU和LSTM数据333.csv
08-11
Python进行GRU和LSTM数据
GRU,LSTM三种网络.rar
10-28
三种网络对比
DenseNet 简介
热门推荐
Bryan__的专栏
08-17 5万+
1.首先对深度学习做一个简单的回顾 2.介绍DenseNet 1.1 DNN回顾 如下图所示是一个基本DNN结构，通过forward传播和backword传播来训练一个模型 包含input层，L个隐藏层和一个output 隐层使用的sigmoid激活函数 一般的优化方法有如下几种 GD：对所有样本计算完一次梯度然后更新权重 SGD：每个样本计算一次梯度就更新权重
1x1卷积核如何降低参数量
Bryan__的专栏
08-17 1万+
本文介绍1*1的卷积核与googlenet里面的Inception。正式介绍之前，首先回顾卷积网络的基本概念。  1. 卷积核：可以看作对某个局部的加权求和；它是对应局部感知，它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体，而是先从局部开始认识，这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸。卷积核的个数就对应输出的通道数，这里需要说明的是对于输入的每个通道，
70行Java代码BP神经网络
Bryan__的专栏
04-30 1万+
神经网络的计算过程 神经网络结构如下图所示，最左边的是输入层，最右边的是输出层，中间是多个隐含层，隐含层和输出层的每个神经节点，都是由上一层节点乘以其权重累加得到，标上“+1”的圆圈为截距项b，对输入层外每个节点：Y=w0*x0+w1*x1+…+wn*xn+b，由此我们可以知道神经网络相当于一个多层逻辑回归的结构。 （图片来自UFLDL Tutorial） 算
BP神经网络的数学原理及其算法实现
Bryan__的专栏
06-01 8792
来源：http://blog.csdn.net/zhongkejingwang/article/details/44514073  什么是BP网络 BP神经网络，BP即Back Propagation的缩写，也就是反向传播的意思，顾名思义，将什么反向传播？文中将会解答。不仅如此，关于隐层的含义文中也会给出个人的理解。最后会用Java实现的BP分类器作为其应用以加深印象。  　　很多初
从ctr预估问题看看f(x)设计—DNN篇
Bryan__的专栏
08-24 7010
转自：https://zhuanlan.zhihu.com/p/28202287 把DNN引入ctr预估无非看重两点： 一，改进模型结构，提高“信息利用率”，发现高阶非线性特征，挖掘以前挖不到潜在模式，比如DIN引入attention机制；一般来说Embedding+MLP是标配。 二，扩充“信息量”，把图片/文本这类不好处理的数据利用起来，比如DeepCTR； #0 RoadMa
图解RNN、RNN变体、Seq2Seq、Attention机制
Bryan__的专栏
09-07 4162
转自：https://zhuanlan.zhihu.com/p/28054589 本文主要是利用图片的形式，详细地介绍了经典的RNN、RNN几个重要变体，以及Seq2Seq模型、Attention机制。希望这篇文章能够提供一个全新的视角，帮助初学者更好地入门。 一、从单层网络谈起 在学习RNN之前，首先要了解一下最基本的单层网络，它的结构如图： 输入是x，经过变换W
GRU-LSTM模型
最新发布
09-10
GRU-LSTM模型是一种混合了GRU（Gated Recurrent Unit）和LSTM（Long Short-Term Memory）的循环神经网络模型。GRU和LSTM都是常用于处理序列数据的神经网络结构。 GRU具有较简化的门控单元结构，相比LSTM，它只有更新门（update gate）和重置门（reset gate），没有输出门。这使得GRU在一些任务上具有与LSTM相似的表现，但参数更少，计算速度更快。 LSTM则使用了更复杂的门控单元结构，包括输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。这些门控单元能够控制信息的流动和遗忘，从而增强长期记忆和缓解梯度消失问题。 GRU-LSTM模型结合了GRU和LSTM的优点，在处理序列数据时能够更好地捕捉长期依赖关系。它在自然语言处理、语音识别、机器翻译等任务中被广泛应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值