图解LSTM与GRU单元的各个公式和区别

最新推荐文章于 2022-08-20 20:24:09 发布
最新推荐文章于 2022-08-20 20:24:09 发布
阅读量2.1k 收藏 6
点赞数 2
原文链接：https://aiprocon.csdn.net/m/topic/ai_procon/index
版权

640?wx_fmt=png

作者 | Che_Hongshu

来源 | AI蜗牛车 （ID: AI_For_Car)

因为自己LSTM和GRU学的时间相隔很远，并且当时学的也有点小小的蒙圈，也因为最近一直在用lstm，gru等等，所以今天没事好好缕了一下，接下来跟着我一起区分并且每个单元全都非常深刻的记一下把。

一、LSTM


这里我们只看内部结构

640?wx_fmt=png

公式为


640?wx_fmt=png

看内部结构的话为


640?wx_fmt=png

接下来是我的理解和记忆方法以及区分。自己对上面的图片进行了编辑，单元和公式一一对应颜色，方便自己和他人观看。


640?wx_fmt=png


一张图清晰地搞定LSTM。


个人理解简短的说明这张图。

  1. 首先输入为三个值，一个是此刻的输入值x，另一个是上一时刻的状态值c，最后一个是上一个单元的输出h

  2. 最终输出为两个值，一个是此刻产生的状态值c和输出h

  3. 首先是输入值x和上一个单元的输出h，分别两个输入都有对应的权重，在经过sigmoid激活作用下得到0-1的值，也就是三个门值

  4. 和3差不多，依然还是 输入值x和上一个单元的输出h，两个值有对应的权重和3中的描述一模一样，唯一的区别在于有一个tanh激活函数，最后相当于得到此时输入得到的当前state，也就是new memory。这里可以理解为输入其实是近似的x和h的concatenate操作，经过正常的神经网络的权重，最后经过tanh激活函数得到此时输入的当前的state，x相当于此刻的输入，h为前面历史的输入，合在一起就是整个序列的信息，也就是此时的new memory。

  5. 最后输出的state，也就是final memory的计算利用了input gate和forget gate，output gate只与输出有关。final memory的计算自然而然和上一步算得此时的记忆state相关并且和上一个输出的final memory相关，故为忘记门和Ct-1的乘积加上上一步算出来的此时单元的C和输入门的乘积为最终的state（故 c）

  6. 输出门只与输出相关，最终的输出h为输出门乘以tanh（c）

致此这里LSTM 梳理完毕


二、GRU


内部结构和公式


640?wx_fmt=png

640?wx_fmt=png

自己对上面的图片进行了编辑，单元和公式一一对应颜色，方便自己和他人观看。
.

640?wx_fmt=png

  1. 这里GRU只有两个gate，一个是reset gate， 一个是update gate， update gate的作用类似于input gate和forget gate，(1-z)相当于input gate， z相当于forget gate。

  2. 输入为两个值，输出也为一个值，输入为输入此时时刻值x和上一个时刻的输出ht-1， 输出这个时刻的输出值ht

  3. 首先依然是利用xt和ht-1经过权重相乘通过sigmoid，得到两个0-1的值，即两个门值。

  4. 接下来这里有一些不同，并且经常容易搞混淆。对于LSTM来说依然还是xt与ht-1分别权重相乘相加，之后经过tanh函数为此时的new memory，而GRU为在这个计算过程中，在ht-1与权重乘积之后和reset gate相乘，之后最终得到new memory，这里的reset gate的作用为让这个new memory包括之前的ht-1的信息的多少。

  5. 接下来和lstm得到final memory其实一样，只是GRU只有两个输入，一个输出，其实这里h即输出也是state，就是说GRU的输出和state是一个值，所以4步骤得到的是new h，这步骤得到的是final h，通过update gate得到。


三、细数LSTM与GRU之间的不同


3.1 结构上


  1. lstm为三个输入xt，ht-1， ct-1，两个输出。gru为两个输入xt， ht-1，一个输出ht，输出即state。

  2. lstm有三个门，输入输出忘记门。gru有两个门，reset，update 门。

  3. update 类似于 input gate和forget gate


3.2 功能上


  1. GRU参数更少，训练速度更快，相比之下需要的数据量更少

  2. 如果有足够的数据，LSTM的效果可能好于GRU


Reference


https://blog.csdn.net/sinat_33741547/article/details/82821782
https://towardsdatascience.com/understanding-gru-networks-2ef37df6c9be
https://medium.com/mlrecipies/deep-learning-basics-gated-recurrent-unit-gru-1d8e9fae7280


(*本文为 AI 科技大本营转载文章，转载请联系原作者)

◆

福利时刻

◆



入群参与每周抽奖~

扫码添加小助手，回复：大会，加入福利群，参与抽奖送礼！

640?wx_fmt=jpeg

大会优惠票限时抢购中！此外，伯克利大学名师精髓课程移师北京。《动手学深度学习》作者、亚马逊首席科学家李沐线下亲授「深度学习实训营」，免费GPU资源，现场还将限量赠送价值85元的配套书籍一本，先到先得。原价1099元，限时专享CSDN 独家福利价199元！识别海报二维码，即刻购票~

640?wx_fmt=jpeg

推荐阅读

640?wx_fmt=png

你点的每个“在看”，我都认真当成了喜欢

AI科技大本营
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch实现LSTM和GRU示例
09-18
在本文中，我们将深入探讨如何使用PyTorch库实现LSTM（长短时记忆网络）和GRU（门控循环单元）这两种循环神经网络（RNN）的变体。这两种模型都是为了解决传统RNN在处理长序列时可能出现的梯度消失或爆炸问题，从而更...
【Deep Learning】详细解读LSTM与GRU单元的各个公式和区别
AI蜗牛车
08-21 1万+
前言 因为自己LSTM和GRU学的时间相隔很远，并且当时学的也有点小小的蒙圈，也因为最近一直在用lstm，gru等等，所以今天没事好好缕了一下，接下来跟着我一起区分并且每个单元全都非常深刻的记一下把。 一、LSTM 这里我们只看内部结构 公式为 看内部结构的话为 接下来是我的理解和记忆方法以及区分。 自己对上面的图片进行了编辑，单元和公式一一对应颜色，方便自己和他人观看。 一张图清晰地搞定...
LSTM和GRU网络的介绍和区别
shawroad的博客
04-23 1万+
目录 LSTM GRU 最后说一下LSTM和GRU的区别 LSTM 首先看一下LSTM的结构： 我们将结构拆开看： 遗忘门： 就是将上一层的输出，和本层的输入联合起来乘个权重，加个偏置。最后经过一个sigmoid。。sigmoid函数值为0代表忘记 记忆门： C_{t-1}就是来自上一层记忆，我们现在要计算本层传给下一层的记忆 C...
开机出现grub rescue,修复办法
08-20 1万+
开机自动进入了grubrescue说明，引导没有正常启动，常见的情况是找不到引导。
RNN,GRU,LSTM计算公式
weixin_45997688的博客
02-17 621
1.循环神经网络（recurrent neural network，简称RNN） 假设Xt∈Rn×dX_t\in R^{n\times d}Xt​∈Rn×d是时间步ttt的小批量输入，Ht∈Rn×hH_t\in R^{n\times h}Ht​∈Rn×h是该时间步的隐藏变量，则 Ht=ϕ(XtWxh+Ht−1Whh+bh)H_t=\phi(X_tW_{xh}+H_{t-1}W_{hh}+b_h)...
NLP基础笔记——图解LSTM和GRU
IOT_victor的博客
03-31 1888
一、LSTM（Long-Short-Term-Memories） LSTM单元结构图及其公式 二、GRU（Gated Recurrent Units） GRU单元结构图及其公式 三、LSTM和GRU的区别？ GRU和LSTM的性能在很多任务上不分伯仲。 GRU 参数更少因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好。 从结构上来说，GRU只有...
基于rnn（可选lstm，gru单元）的数数机器人，代码清晰适合学习和改造
11-09
<项目介绍> 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！...
基于Python实现LSTM、GRU、BiLSTM预测股票价格比较研究（源码+数据+说明文档）.rar
03-27
资源内容：基于LSTM、GRU、BiLSTM预测股票价格比较的Python仿真（完整源码+说明文档+数据）.rar 代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 适用对象：工科生、数学专业、算法等方向学习...
学习符号序列的LSTM和GRU网络的比较_A comparison of LSTM and GRU networks for l
01-30
在时间序列分析和预测领域，递归神经网络（RNN）因其独特的结构，尤其是长短期记忆网络（LSTM）和门控循环单元（GRU），已成为重要的工具。这两种网络都是为了解决传统RNN在处理长距离依赖问题时的梯度消失和梯度...
GRU与LSTM总结
热门推荐
lreaderl的博客
09-18 12万+
一、LSTM（长短期记忆网络）LSTM是一种特殊的RNN类型，一般的RNN结构如下图所示，是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的
LSTM原理讲解 GRU原理讲解
Amy_mm的博客
07-12 9818
2.1 LSTM（Long-short term memory） 长短期记忆（（Long short-term memory）最早是1997年由Hochreiter 和 Schmidhuber在论文《LONG SHORT-TERM MEMORY》[3][3]^{[3]}中提出的。 在所有的循环神经网络中都有一个如图所示的循环链，链式结构的每个单元将输入的信息进行处理后输出。在常规循环神经网...
一文读懂LSTM和GRU
cz的博客
12-08 2659
简介LSTM与GRU
LSTM与GRU
weixin_42421001的博客
08-13 6707
很多博客已经详细讲述了lstm和gru的结构及公式，这里就不一一介绍了，参考下面链接，讲的挺详细 https://blog.csdn.net/gzj_1101/article/details/79376798 这篇文章主要讲自己对lstm与gru的区别及联系的理解。 在传统RNN中，由于反向传播过程中出现激活函数的累乘，容易造成梯度消失和梯度爆炸，这就造成在较长的time-steps下，后面...
理解LSTM和GRU
每天进步一点
05-11 2866
LSTM GRU
详细解读LSTM与GRU单元的各个公式和区别
abcdefg90876的博客
10-26 682
前言因为自己LSTM和GRU学的时间相隔很远，并且当时学的也有点小小的蒙圈，也因为最近一直在用lstm，gru等等，所以今天没事好好缕了一下，接下来跟着我一起区分并且每个...
循环神经网络(RNN)及其变体GRU和LSTM的基础知识详解(公式)
chenzhiwen1998的博客
02-15 1970
RNN计算公式 RNN结构图结构 图中变量名介绍 a：上一个时间步的激活值（activate value） x ：第x个输入（一句话中第x个字） y：第y个输出（预测值） Waa：与激活值进行计算的参数。其中第一个a是指当前参数是计算a（激活值）的，第二个a是指当前参数与激活值进行乘运算 Wax：与输入进行计算的参数。其中第一个a是指当前参数是计算a（激活值）的，第二个x是指与输入值x进行运算 Wya：与激活值运算的参数，得到的记过为y。其中第一个y是指当前参数是计算输入值y的，第二个a是指与激活值a进
【神经网络】图解LSTM和GRU
书山有路，学海无涯。记录成长，追逐梦想
07-18 5666
循环神经网络（RNN，Recurrent Neural Network）受到短期记忆的影响。如果一个序列足够长，就很难将早期产生的信息带到后续的步骤中来。因此，如果试图处理一段文字来做预测，RNN可能会从一开始就遗漏了重要信息。
GRU和LSTM区别
03-04 9874
GRU和LSTM的区别在于： ①GRU通过更新门来控制上一时刻的信息传递和当前时刻计算的隐层信息传递。GRU中由于是一个参数进行控制，因而可以选择完全记住上一时刻而不需要当前计算的隐层值，或者完全选择当前计算的隐层值而忽略上一时刻的所有信息，最后一种情况就是无论是上一时刻的信息还是当前计算的隐层值都选择传递到当前时刻隐层值，只是选择的比重不同。而LSTM是由两个参数（遗忘门和输入门）来控制更新的，他们之间并不想GRU中一样只是由一个参数控制，因而在比重选择方面跟GRU有着很大的区别，例如它可以既不选择上一
RNN成长记(五)：LSTM与GRU
BIT`S WORLD
06-12 643
在本文中，我们将探索并尝试创建我们自己定义的 RNN 单元。不过在此之前，我们需要先仔细研究简单的 RNN，再逐步深入较为复杂的单元（如 LSTM 与 GRU）。我们会分析这些单元在 tensorflow 中的实现代码，最终参照这些代码来创建我们的自定义单元。 基本 RNN： 对于传统的 RNN 来说，最大的问题就在于每个单元的重复输入都是静态的，因此我们无法充分学习到长期的依赖情况。你回想一下基本 RNN 单元，就会发现所有操作都是单一的 tanh 运算。 对于解决短期依赖情况的问题来说，这种结构已.
使用LSTM或GRU单元
最新发布
06-10
LSTM（长短期记忆网络）和GRU（门控循环单元）是两种常用的循环神经网络（RNN）架构，它们在处理序列数据时特别有效，特别是对于长期依赖问题，如文本生成、语音识别和时间序列预测。让我分别解释一下这两种单元： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值