GRU与LSTM的原理总结

已于 2022-02-09 11:18:37 修改
阅读量323 收藏 3
点赞数
分类专栏： 机器学习 文章标签： lstm gru rnn
于 2022-02-09 11:11:29 首次发布
原文链接：https://blog.csdn.net/lreaderl/article/details/78022724
版权

一、lstm长短期记忆网络

LSTM是一种特殊的RNN类型，一般的RNN结构如下图所示，是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的，RNN 可以学会使用先前的信息。
RNN训练过程
标准RNN结构
标准的RNN结构中只有一个神经元，一个tanh层进行重复的学习，这样会存在一些弊端。例如，在比较长的环境中，例如在“I grew up in France… I speak fluent French”中去预测最后的French，那么模型会推荐一种语言的名字，但是预测具体是哪一种语言时就需要用到很远以前的Franch，这就说明在长环境中相关的信息和预测的词之间的间隔可以是非常长的。在理论上，RNN 绝对可以处理这样的长环境问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN 并不能够成功学习到这些知识。然而，LSTM模型就可以解决这一问题。
LSTM网络结构
如图所示，标准LSTM模型是一种特殊的RNN类型，在每一个重复的模块中有四个特殊的结构，以一种特殊的方式进行交互。在图中，每一条黑线传输着一整个向量，粉色的圈代表一种pointwise 操作(将定义域上的每一点的函数值分别进行运算)，诸如向量的和，而黄色的矩阵就是学习到的神经网络层。
LSTM模型的核心思想是“细胞状态”。“细胞状态”类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。
细胞状态
LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。
LSTM门
Sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，1 就指“允许任意量通过”。LSTM 拥有三个门，来保护和控制细胞状态。
LSTM——第一步
在LSTM模型中，第一步是决定我们从“细胞”中丢弃什么信息，这个操作由一个忘记门层来完成。该层读取当前输入x和前神经元信息h，由ft来决定丢弃的信息。输出结果1表示“完全保留”，0 表示“完全舍弃”。
确定更新
第二步是确定细胞状态所存放的新信息，这一步由两层组成。sigmoid层作为“输入门层”，决定我们将要更新的值i；tanh层来创建一个新的候选值向量~Ct加入到状态中。在语言模型的例子中，我们希望增加新的主语到细胞状态中，来替代旧的需要忘记的主语。
确定更新的信息
第三步就是更新旧细胞的状态，将Ct-1更新为Ct。我们把旧状态与 ft相乘，丢弃掉我们确定需要丢弃的信息。接着加上 it * ~Ct。这就是新的候选值，根据我们决定更新每个状态的程度进行变化。在语言模型的例子中，这就是我们实际根据前面确定的目标，丢弃旧代词的信息并添加新的信息的地方。
输出
最后一步就是确定输出了，这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。首先，我们运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。在语言模型的例子中，因为语境中有一个代词，可能需要输出与之相关的信息。例如，输出判断是一个动词，那么我们需要根据代词是单数还是负数，进行动词的词形变化。

二、GRU（ Gated Recurrent Unit，LSTM变体）

GRU
GRU作为LSTM的一种变体，将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态，加诸其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。

三、对比

LSTM与GRU对比
概括的来说，LSTM和GRU都能通过各种Gate将重要特征保留，保证其在long-term 传播的时候也不会被丢失。
结果对比1
可以看出，标准LSTM和GRU的差别并不大，但是都比tanh要明显好很多，所以在选择标准LSTM或者GRU的时候还要看具体的任务是什么。
使用LSTM的原因之一是解决RNN Deep Network的Gradient错误累积太多，以至于Gradient归零或者成为无穷大，所以无法继续进行优化的问题。GRU的构造更简单：比LSTM少一个gate，这样就少几个矩阵乘法。在训练数据很大的情况下GRU能节省很多时间。

五、应用

样例：预测当前词。每个时刻的输入都是一个embedding向量，它的长度是输入层神经元的个数，与时间步的个数（即句子的长度）没有关系。
每个时刻的输出是一个概率分布向量，其中最大值的下标决定了输出哪个词。
RNN&LSTM实际应用：
1. Language ModelThe Unreasonable Effectiveness of Recurrent Neural Networks http://karpathy.github.io/2015/05/21/rnn-effectiveness/
2. Image Captioning[CVPR15]]Long-term Recurrent Convolutional Networks for Visual Recognition and DescriptionDeep Visual-Semantic Alignments for Generating Image Descriptions http://cs.stanford.edu/people/karpathy/deepimagesent/
3. Speech Recognition
4. Machine Translation[NIPS15]Sequence to Sequence Learning
with Neural Networks. http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf

Rewrite by lreaderl

von Libniz
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
keras_ LSTM 层和 GRU 层
01-06
6.2.2 理解 LSTM 层和 GRU 层 参考： https://blog.csdn.net/qq_30614345/article/details/98714874 6.2.4　小结 现在你已经学会了以下内容。 ‰ 循环神经网络（RNN）的概念及其工作原理。 ‰ 长短期记忆（LSTM）是...
GRU与LSTM总结
热门推荐
lreaderl的博客
09-18 11万+
一、LSTM（长短期记忆网络）LSTM是一种特殊的RNN类型，一般的RNN结构如下图所示，是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的
【神经网络】图解LSTM和GRU
书山有路，学海无涯。记录成长，追逐梦想
07-18 4630
循环神经网络（RNN，Recurrent Neural Network）受到短期记忆的影响。如果一个序列足够长，就很难将早期产生的信息带到后续的步骤中来。因此，如果试图处理一段文字来做预测，RNN可能会从一开始就遗漏了重要信息。
一文读懂LSTM和GRU
cz的博客
12-08 2571
简介LSTM与GRU
理解LSTM和GRU
每天进步一点
05-11 2653
LSTM GRU
一篇文章入门LSTM和GRU
julac的博客
11-07 1142
一篇文章入门LSTM和GRU
Maltab实现GRU门控循环单元故障诊断（完整源码和数据)
10-29
Maltab实现GRU门控循环单元故障诊断（完整源码和数据) 运行环境2020及以上。 利用各种检查和测试方法，发现系统和设备是否存在故障的过程是故障...本文对GRU的模型结构及原理进行研究，提出基于GRU的故障辨识方法。
RNN循环神经网络PPT，涉及到LSTM，GRU、BRNN、BLSTM等等介绍，适合开会用，总共有50页，干货满满
11-22
1.干货满满，整整50页，远远比网络上其他RNN的PPT好，PPT修改过3、4次 ...3.从原理出发讲解LSTM神经网络与传统RNN的区别 4.讲解多个RNN的变体原理细节，GRU、BRNN、BLSTM。 5.RNN的应用场景 6.RNN的背景及其意义
深度学习与神经网络从原理到实践（基于TensorFlow2）
06-21
损失函数，学习率，优化器，图片增强，dropout）CNN卷积神经网络（原理，LeNet5，AlexNet，VGGNet，InceptionNet，ResNet，物品识别）RNN循环神经网络（原理，LSTM，GRU，股票预测）BP神经网络（正向传播
C#，LTSM基本原理的实现代码（CPU），学习LTSM的好材料
最新发布
03-21
长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的...LSTM有很多个版本，其中一个重要的版本是GRU（Gated Re
LSTM和GRU看完必须全部了然
Tian__Gao的博客
04-08 978
LSTM和GRU的感性理解一、RNN的缺点——短时记忆二、LSTM1.整体结构 一、RNN的缺点——短时记忆 RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本进行预测，RNN 可能从一开始就会遗漏重要信息。 在反向传播期间，RNN 会面临梯度消失的问题。 梯度是用于更新神经网络的权重值，消失的梯度问题是当梯度随着时间的推移传播时梯度下降，如果梯度值变得非常小，就不会继续学习。 因此，在递归神经网络中，获得小梯度更新的层
大话循环神经网络RNN、LSTM、GRU
全栈O-Jay的博客
04-02 1727
一文极速了解循环神经网络RNN、LSTM、GRU！
神经网络学习笔记9——循环神经网络中的LSTM与GRU模型理解及代码解析
qq_45848817的博客
12-28 2295
循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。LSTM是RNN的一种，可以解决RNN长序列训练过程中的梯度消失和梯度爆炸问题，当一条序列足够长，那RNN将很难将信息从较早的时间步传送到后面的时间步，而LSTM能学习长期依赖的信息，记住较早时间步的信息，因此可以做到联系上下文。
GRU和LSTM
qq_40887371的博客
04-05 4545
GRU和LSTM LSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。 更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面 GRU门控循环单元 他能够让你可以在序列中学习非常深的连接 GRU相当于LSTM的简化版 基本原理 引入两个信息控制门 Γu=σ(ωu[c⟨t−1⟩,
循环神经网络
qq_37747189的博客
12-05 1266
RNN（循环神经网络） 神经网络 在介绍循环神经网络之前，先介绍一下常见的神经网络的结构，训练神经网络，无非是通过给定的输入x，通过一层一层的黑盒子，在不断修改黑盒子的参数过程后，得到特定的输出结果y。 这一层层的黑盒子对应一个又一个的函数，共同构成我们的神经网络模型。经典的神经网络结构如下图： 那么为什么需要RNN呢？ 为什么需要RNN 在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考，也就是说我们在学习新的东
RNN / LSTM / GRU 架构解析
zz3035786953的博客
11-15 547
一、传统RNN模型 1.1 RNN模型介绍 1.2 RNN模型的分类 1.3 传统RNN的内部结构图 二、LSTM模型 2.1 LSTM组成 2.2 LSTM的内部结构图 2.3 Bi-LSTM 2.4 Pytorch中LSTM工具的使用 2.5 LSTM优势 2.6 LSTM缺点: 三、GRU模型 3.1 GRU组成 3.2 GRU的内部结构图和计算公式
GRU 和 LSTM 的对比
ywm_up
08-10 1万+
GRU 和 LSTM 的对比 GRU是LSTM变动较大的变体 LSTM能够解决循环神经网络因长期依赖带来的梯度消失和梯度爆炸问题，但是LSTM有三个不同的门，参数较多，训练起来比较困难。GRU只含有两个门控结构，且在超参数全部调优的情况下，二者性能相当，但是GRU结构更为简单，训练样本较少，易实现。 GRU在LSTM的基础上主要做出了两点改变： GRU只有两个门。GRU将LSTM中的输入门和遗忘门合二为一，称为更新门（update gate），下图中的z(t)，控制前边记忆信息能够继续保留到当前时刻
LSTM和GRU结构及原理介绍
赤道6号转向发动机的博客
04-22 1281
参考博文: 直觉理解LSTM和GRU 第一部分: LSTM LSTM的结构 LSTM的原理 LSTM单元之间传递两个信息, c和h Ct−1C_{t-1}Ct−1​ 到 CtC_tCt​, 先遗忘一部分信息, 然后再加上新学到的一部分信息 ftf_tft​控制哪些需要忘掉, C~t\tilde{C}_tC~t​用于生成新信息, iti_tit​控制哪些新信息需要保留, CtC_tCt​就完...
lstm和gru的原理
holal的博客
05-25 330
1.LSTM lstm是由输入门，遗忘门，输出们和一个cell组成。第一步是决定从cell状态中丢弃什么信息，然后再决定有多少新的信息进入到cell状态中，最终基于目前的cell状态据欸的那个输出什么样的信息。 2.GRU gru是由重置门和更新门组成的，其输入为前一时刻隐藏层的输出和当前的输入，输出为下一时刻隐藏层的信息。重置门用来计算候选隐藏层的输出，起作用是控制保留多少前一时刻的隐藏层。更新门的作用是控制加入多少候选隐藏层的输出信息，从而得到当前隐藏层的输出。 ...
lstm原理_TF2.0SimpleRNN，LSTM长短期记忆网络，GRU网络的原理，实践：股价预测
06-08
LSTM原理： LSTM（Long Short-Term Memory）长短期记忆网络是一种特殊的循环神经网络，用于处理序列数据。相比于传统的RNN，LSTM能够更好地处理长序列和长期依赖关系。LSTM包含三个门控单元：输入门、遗忘门和输出门...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值