GRU与LSTM总结

最新推荐文章于 2024-03-07 13:03:52 发布
最新推荐文章于 2024-03-07 13:03:52 发布
阅读量10w+ 收藏 611
点赞数 102
分类专栏： 机器学习 LSTM 文章标签： 预测 应用

一、LSTM（长短期记忆网络）

LSTM是一种特殊的RNN类型，一般的RNN结构如下图所示，是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的，RNN 可以学会使用先前的信息。
RNN训练过程
标准RNN结构
标准的RNN结构中只有一个神经元，一个tanh层进行重复的学习，这样会存在一些弊端。例如，在比较长的环境中，例如在“I grew up in France… I speak fluent French”中去预测最后的French，那么模型会推荐一种语言的名字，但是预测具体是哪一种语言时就需要用到很远以前的Franch，这就说明在长环境中相关的信息和预测的词之间的间隔可以是非常长的。在理论上，RNN 绝对可以处理这样的长环境问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN 并不能够成功学习到这些知识。然而，LSTM模型就可以解决这一问题。
LSTM网络结构
如图所示，标准LSTM模型是一种特殊的RNN类型，在每一个重复的模块中有四个特殊的结构，以一种特殊的方式进行交互。在图中，每一条黑线传输着一整个向量，粉色的圈代表一种pointwise 操作(将定义域上的每一点的函数值分别进行运算)，诸如向量的和，而黄色的矩阵就是学习到的神经网络层。
LSTM模型的核心思想是“细胞状态”。“细胞状态”类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。
细胞状态
LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。
LSTM门
Sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，1 就指“允许任意量通过”。LSTM 拥有三个门，来保护和控制细胞状态。
LSTM——第一步
在LSTM模型中，第一步是决定我们从“细胞”中丢弃什么信息，这个操作由一个忘记门层来完成。该层读取当前输入x和前神经元信息h，由ft来决定丢弃的信息。输出结果1表示“完全保留”，0 表示“完全舍弃”。
确定更新
第二步是确定细胞状态所存放的新信息，这一步由两层组成。sigmoid层作为“输入门层”，决定我们将要更新的值i；tanh层来创建一个新的候选值向量~Ct加入到状态中。在语言模型的例子中，我们希望增加新的主语到细胞状态中，来替代旧的需要忘记的主语。
确定更新的信息
第三步就是更新旧细胞的状态，将Ct-1更新为Ct。我们把旧状态与 ft相乘，丢弃掉我们确定需要丢弃的信息。接着加上 it * ~Ct。这就是新的候选值，根据我们决定更新每个状态的程度进行变化。在语言模型的例子中，这就是我们实际根据前面确定的目标，丢弃旧代词的信息并添加新的信息的地方。
输出
最后一步就是确定输出了，这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。首先，我们运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。在语言模型的例子中，因为语境中有一个代词，可能需要输出与之相关的信息。例如，输出判断是一个动词，那么我们需要根据代词是单数还是负数，进行动词的词形变化。

二、GRU（ Gated Recurrent Unit，LSTM变体）

GRU
GRU作为LSTM的一种变体，将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态，加诸其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。

三、对比

LSTM与GRU对比
概括的来说，LSTM和GRU都能通过各种Gate将重要特征保留，保证其在long-term 传播的时候也不会被丢失。
结果对比1
可以看出，标准LSTM和GRU的差别并不大，但是都比tanh要明显好很多，所以在选择标准LSTM或者GRU的时候还要看具体的任务是什么。
使用LSTM的原因之一是解决RNN Deep Network的Gradient错误累积太多，以至于Gradient归零或者成为无穷大，所以无法继续进行优化的问题。GRU的构造更简单：比LSTM少一个gate，这样就少几个矩阵乘法。在训练数据很大的情况下GRU能节省很多时间。

五、应用

样例：预测当前词。每个时刻的输入都是一个embedding向量，它的长度是输入层神经元的个数，与时间步的个数（即句子的长度）没有关系。
每个时刻的输出是一个概率分布向量，其中最大值的下标决定了输出哪个词。
RNN&LSTM实际应用：
1. Language ModelThe Unreasonable Effectiveness of Recurrent Neural Networks http://karpathy.github.io/2015/05/21/rnn-effectiveness/
2. Image Captioning[CVPR15]]Long-term Recurrent Convolutional Networks for Visual Recognition and DescriptionDeep Visual-Semantic Alignments for Generating Image Descriptions http://cs.stanford.edu/people/karpathy/deepimagesent/
3. Speech Recognition
4. Machine Translation[NIPS15]Sequence to Sequence Learning
with Neural Networks. http://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf

Rewrite by lreaderl

lreaderl
关注
  • 102
    点赞
  • 踩
  • 611
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
LSTM与GRU:处理序列数据的神经网络
禅与计算机程序设计艺术
07-02 469
在处理序列数据时，传统的神经网络架构如多层感知器（MLP）和卷积神经网络（CNN）往往难以捕捉数据中的时间依赖性。序列数据广泛存在于自然语言处理、时间序列预测、语音识别等领域，这些数据的特征在于其时间顺序和上下文依赖性。为了解决这一问题，循环神经网络（RNN）应运而生。然而，标准的RNN在处理长序列时存在梯度消失和梯度爆炸问题，导致其在捕捉长时间依赖性方面表现不佳。LSTM通过引入记忆单元和三个门（遗忘门、输入门和输出门），控制信息在时间步之间的流动。
自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
weixin_47332746的博客
04-14 1254
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
一篇文章入门LSTM和GRU
julac的博客
11-07 1199
一篇文章入门LSTM和GRU
长短期记忆网络（LSTM）和门控循环单元（GRU）算法详解
极光喵的博客
03-07 1981
分别是更新门的权重矩阵和偏置。由于输入门、遗忘门和输出门都是由Sigmoid函数变换得到的，它们的取值范围在0和1之间，因此可以有效地控制信息的流动和梯度的传递。这两个门控单元可以学习在每个时间步如何调整输入信息和上一个时间步的隐藏状态信息的重要程度，某种程度上可以看作有选择性的记忆当前时刻的输入和上一时刻的隐藏状态。总结一下，LSTM（Long Short-Term Memory）网络可以优化梯度传播不稳定的问题，主要是因为它们的设计允许信息在多个时间步长上有效地流动，而不受梯度消失或爆炸的影响。
GRU与LSTM
热门推荐
lpty的博客
09-23 1万+
一、前言 GRU是LSTM的一种变体，综合来看： 1、两者的性能在很多任务上不分伯仲。 2、GRU 参数相对少更容易收敛，但是在数据集较大的情况下，LSTM性能更好。 3、GRU只有两个门（update和reset），LSTM有三个门（forget，input，output） LSTM还有许多变体，但不管是何种变体，都是对输入和隐层状态做一个线性映射后加非线性激活函数，重点在于额外的门控机制是如何...
LSTM和GRU
weixin_42717395的博客
04-03 490
Long Short Term 网络，一般就叫做 LSTM ，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！ 　　所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。 ...
LSTM与GRU
学习笔记
01-29 278
由于RNN的梯度计算时,总会有一项Whh的k-i次方， 当i越小， 即(越靠前的层)，Whh的k-i次方会越来越大，所以越前的层的梯度越容易出现梯度爆炸现象。 Gradient clipping LSTM(可以解决梯度爆炸问题) RNN原始模型 LSTM结构 可以看到LSTM的梯度计算公式为4项的和，这样可以防止出现次方项使梯度过大，也不会因为某一项的大小影响总体的梯度稳定。 也可以这样看： 当remember gate way 接近于1时，Ct 将约等于Ct-1，memo
GRU和LSTM
qq_40887371的博客
04-05 4763
GRU和LSTM LSTM与GRU的存在是为了解决简单RNN面临的长期依赖问题（由于反向传播存在的梯度消失或爆炸问题，简单RNN很难建模长距离的依赖关系），一种比较有效的方案是在RNN基础上引入门控机制来控制信息的传播。 更通俗地说,比如很长一句话,靠后的某个词和靠前的某个词存在某种关联,简单RNN模型很难把这个靠前的这个词的信息传递到后面 GRU门控循环单元 他能够让你可以在序列中学习非常深的连接 GRU相当于LSTM的简化版 基本原理 引入两个信息控制门 Γu=σ(ωu[c⟨t−1⟩,
LSTM 与 GRU
makerjj的博客
11-18 250
LSTM 全称：Long Short-Term Memory 长短期记忆网络 大致结构如图所示(不想用软件画图。。。)： 三个门已经在图中表示了出来。下面将逐步介绍。 图中最上面的C是最主要的传输流。 遗忘门： ft=δ(Wf⋅[ht−1,Xt])f_t = \delta(W_f\cdot[h_{t-1},X_t])ft​=δ(Wf​⋅[ht−1​,Xt​])(这里b放入了XtX_tXt​中)...
pso-gru-lstm：PSO优化GRU-LSTM超参数
02-19
PSO优化GRU-LSTM超参数 1、摘要 本文主要讲解：使用PSO优化GRU-LSTM超参数，神经元个数、学习率、dropout和batch_size 主要思路： 建立GRU-LSTM模型 定义PSO的参数：最大迭代次数、最大惯性权重、最小惯性权重、...
GRU,LSTM三种网络.rar
10-28
总结来说，GRU和LSTM都是用于处理序列数据的强大工具，它们各自有优缺点。选择哪种模型取决于具体任务的复杂性、可用资源和训练时间。在Python中，通过TensorFlow、PyTorch等深度学习框架可以方便地实现和训练这两种...
基于MATLAB的GRU和LSTM并行网络
06-11
在本文中，我们将深入探讨基于MATLAB实现的GRU（门控循环单元）与LSTM（长短期记忆网络）并行网络，以及如何利用这样的网络结构解决分类问题。GRU和LSTM是两种广泛应用于序列数据建模的递归神经网络（RNN）变体，...
基于RNN、GRU、LSTM和Attention的“时间序列预测”代码
最新发布
07-22
包含使用RNN、GRU、LSTM或Attention方法进行基本时间序列预测的实现。在时间序列预测任务中，RNN、GRU、LSTM和Attention是常用的深度学习模型。通过使用这些模型，可以捕获时间序列数据中的长期依赖关系和模式，从而...
GRU和LSTM通俗解释
安徽思远的博客
08-27 1059
一、GRU 首先需要明确的是，GRU出现的时间是在LSTM之后的，其实为了简化LSTM而产生的，由于其简易型，一般都会先进行介绍。 首先来看一下RNN的示意图，如下。这里不做解释。 下图是GRU的示意图，相较于RNN似乎复杂了许多。其只是增加了一个cell来存储需要远程传递的信息以及相应的gate来管控信息的传递。 前一层的隐藏状态与本层的输入合在一起分别进入激活函数中，得到重置门R，更新门Z。 随后重置门决定前一层的隐藏状态如何参与本层的输入计算，得到候选隐藏状态。这里重置门的大小主要决定前一层的输出
LSTM和GRU区别
01-07
LSTM（Long Short-Term Memory）和GRU（Gated Recurrent Unit）是两种常用的循环神经网络（RNN）模型，用于解决序列数据建模中的长期依赖问题。它们在模型结构和计算方式上有一些区别。 LSTM模型结构： LSTM模型由输入门、遗忘门和输出门组成。输入门控制新输入的信息是否进入细胞状态，遗忘门控制细胞状态中的信息是否被遗忘，输出门控制细胞状态中的信息是否输出到下一层。LSTM通过这些门的控制，可以有效地处理长期依赖关系。 GRU模型结构： GRU模型也由更新门和重置门组成。更新门决定了新的输入信息和前一时刻的隐藏状态之间的权重，重置门决定了前一时刻的隐藏状态对当前时刻的影响程度。GRU通过这两个门的控制，可以在一定程度上解决长期依赖问题。 LSTM和GRU的比较： 1. LSTM和GRU在很多情况下表现相似，但是GRU的计算更简单，更易于实现。 2. LSTM具有更复杂的门控机制，可以更好地处理长期依赖关系，但是计算量较大。 3. GRU通过更新门和重置门的控制，可以在一定程度上解决长期依赖问题，计算量较小。 代码实现： 以下是GRU模型的代码实现示例： ```python import torch import torch.nn as nn # 定义GRU模型 class GRUModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(GRUModel, self).__init__() self.hidden_size = hidden_size self.num_layers = num_layers self.gru = nn.GRU(input_size, hidden_size, num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device) out, _ = self.gru(x, h0) out = self.fc(out[:, -1, :]) return out # 创建GRU模型实例 input_size = 10 hidden_size = 20 num_layers = 2 output_size = 1 model = GRUModel(input_size, hidden_size, num_layers, output_size) print(model) ```
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值