科普：GRU、LSTM及RNN

最新推荐文章于 2025-04-25 18:05:37 发布
最新推荐文章于 2025-04-25 18:05:37 发布
阅读量1.2k 收藏 8
点赞数 14
分类专栏： 《机器学习》 深度学习 时间序列分析 文章标签： lstm rnn gru
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiy_icbc/article/details/147053811
版权

GRU（门控循环单元）、LSTM（长短期记忆网络）、RNN（循环神经网络）均为处理序列数据的神经网络模型，它们之间存在着紧密的联系与明显的差异。
我们重点看一下GRU，并比较它们。

一、GRU算法简述

1. 背景与定位

GRU（Gated Recurrent Unit） 是循环神经网络（RNN）的改进变体，由Cho等人在2014年提出。它通过引入“门控机制”解决了传统RNN的梯度消失问题，同时简化了LSTM的复杂结构，成为处理序列数据（如时间序列、自然语言）的常用模型。

2. 核心结构与原理

GRU包含两个核心“门控单元”：更新门（Update Gate） 和 重置门（Reset Gate），通过控制信息的流动来保留长期依赖。

（1）更新门（Update Gate, z t z_t zt​）
  • 作用：决定前一时刻的隐藏状态 h t − 1 h_{t-1} ht−1​有多少信息被保留到当前时刻 h t h_t ht​。
  • 公式：
    z t = σ ( W z ⋅ [ h t − 1 , x t ] + b z ) z_t = \sigma(W_z \cdot [h_{t-1}, x_t] + b_z) zt​=σ(Wz​⋅[ht−1​,xt​]+bz​)
    其中 σ \sigma σ是Sigmoid函数，输出值在 [0, 1] 之间。
    - z t ≈ 1 z_t \approx 1 zt​≈1：保留更多历史信息；
    - z t ≈ 0 z_t \approx 0 zt​≈0：丢弃更多历史信息，依赖当前输入。
（2）重置门（Reset Gate, r t r_t rt​）
  • 作用：控制前一时刻隐藏状态 h t − 1 h_{t-1} ht−1​对当前候选状态 h ~ t \tilde{h}_t h~t​的影响。
  • 公式：
    r t = σ ( W r ⋅ [ h t − 1 , x t ] + b r ) r_t = \sigma(W_r \cdot [h_{t-1}, x_t] + b_r) rt​=σ(Wr​⋅[ht−1​,xt​]+br​)
    - r t ≈ 1 r_t \approx 1 rt​≈1：保留全部历史信息；
    - r t ≈ 0 r_t \approx 0 rt​≈0：忽略历史信息，仅用当前输入计算候选状态。
（3）候选隐藏状态（Candidate Hidden State, h ~ t \tilde{h}_t h~t​）
  • 公式：
    h ~ t = tanh ⁡ ( W h ⋅ [ r t ⊙ h t − 1 , x t ] + b h ) \tilde{h}_t = \tanh\left( W_h \cdot [r_t \odot h_{t-1}, x_t] + b_h \right) h~t​=tanh(Wh​⋅[rt​⊙ht−1​,xt​]+bh​)
    通过重置门 r t r_t rt​对历史状态 h t − 1 h_{t-1} ht−1​进行“遗忘”，再与当前输入 x t x_t xt​结合，生成候选状态。
（4）最终隐藏状态（Final Hidden State, h t h_t ht​）
  • 公式：
    h t = z t ⊙ h t − 1 + ( 1 − z t ) ⊙ h ~ t h_t = z_t \odot h_{t-1} + (1 - z_t) \odot \tilde{h}_t ht​=zt​⊙ht−1​+(1−zt​)⊙h~t​
    通过更新门 z t z_t zt​融合历史状态 h t − 1 h_{t-1} ht−1​和候选状态 h ~ t \tilde{h}_t h~t​：
    • 若 z t = 1 z_t = 1 zt​=1：直接保留历史状态（无更新）；
    • 若 z t = 0 z_t = 0 zt​=0：完全采用候选状态（更新为新信息）。

GRU是LSTM的轻量化变体，通过“更新门”和“重置门”平衡了模型的记忆能力与计算效率，适用于需要处理序列数据且追求高效性的场景。其核心思想是通过门控机制动态控制信息的流动，是循环神经网络在实际应用中的重要改进之一。

二、三者关系

  • RNN是基础：RNN是最早用于处理序列数据的神经网络模型，它引入了循环结构，能够利用序列中先前的信息。这种结构使得RNN在处理具有时间顺序的数据，如自然语言文本、时间序列数据等方面具有独特优势。然而，传统RNN存在梯度消失或梯度爆炸的问题，这限制了它对长序列信息的记忆能力。
  • LSTM是RNN的改进：为了解决RNN的梯度问题，LSTM应运而生。LSTM在RNN的基础上进行了重大改进，引入了门控机制，包括输入门、遗忘门和输出门。这些门控单元可以有效地控制信息的流入、流出和保留，使得模型能够更好地捕捉序列中的长期依赖关系，避免了梯度消失或爆炸的问题。
  • GRU是LSTM的简化变体：GRU是在LSTM之后提出的一种变体，它同样是为了处理序列数据并解决RNN的梯度问题。GRU对LSTM的结构进行了简化，将输入门和遗忘门合并为一个更新门，并引入了重置门。这种简化的结构在一定程度上减少了模型的参数数量，从而提高了训练效率，同时在很多任务中也能取得与LSTM相近的性能。
对比维度RNNLSTMGRU
结构复杂度结构简单，仅包含一个隐藏状态和一个循环连接相对复杂，引入了细胞状态和三个门控单元（输入门、遗忘门、输出门）结构相对LSTM有所简化，只有两个门控单元（更新门和重置门），没有独立的细胞状态
梯度问题容易出现梯度消失或梯度爆炸问题，难以处理长序列数据通过门控机制有效地解决了梯度消失或爆炸问题，能够更好地处理长序列数据同样解决了梯度问题，由于结构简化，在某些情况下训练效率可能更高
训练效率训练速度相对较快，但由于梯度问题，模型性能可能受限训练速度相对较慢，因为其结构复杂，参数较多训练速度通常比LSTM快，因为参数数量较少
内存需求内存需求较低，因为结构简单内存需求较高，因为需要存储细胞状态和多个门控单元的信息内存需求相对LSTM较低
应用场景适用于处理短序列数据或对模型复杂度要求较低的场景广泛应用于各种需要处理长序列数据的任务，如自然语言处理、语音识别等在处理长序列数据时表现良好，尤其在数据量有限或对训练效率要求较高的情况下具有优势

综上所述，RNN是基础模型，LSTM是对RNN的改进，而GRU是LSTM的简化变体。在实际应用中，需要根据具体任务的需求、数据的特点以及计算资源等因素来选择合适的模型。

手把手写深度学习(17)：用LSTM为图片生成文字描述(Image-to-text任务)
沉迷单车的追风少年
09-15 3377
近年来text-to-image的任务非常火爆，大模型如Della、Imagen、GLIDE等都取得了良好的效果；其镜像任务image-to-text的相关研究却比较少，这篇博客手把手带大家用简单的LSTM网络搭建一个image-to-text系统。...
深入理解 RNN、LSTM 和 GRU：结构、参数与应用
qq_34941290的博客
11-13 991
在深度学习领域，循环神经网络（RNN）、长短期记忆网络（LSTM）和门控循环单元（GRU）是处理序列数据的核心模型。它们在自然语言处理、时间序列预测、语音识别等任务中发挥着重要作用。RNN 是一种用于处理序列数据的神经网络架构。它通过循环连接将前一时间步的输出作为当前时间步的输入，从而能够记住之前的输入信息。RNN 在处理时间序列数据时表现出色，但在长序列上训练时容易遇到梯度消失和爆炸的问题。LSTM 是 RNN 的一种变体，旨在解决传统 RNN 的梯度消失问题。LSTM 引入了门控机制，通过遗忘门、输入门
RNN LSTM GRU介绍
舟
01-12 1183
RNN 在实际应用中，我们会遇到很多序列形的数据 为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。 每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点 LSTM 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程...
循环神经网络（RNN）与长短期记忆网络（LSTM）详解
最新发布
2402_84226753的博客
04-25 1503
循环神经网络（RNN）与长短期记忆网络（LSTM）详解
大话循环神经网络RNN、LSTM、GRU
全栈O-Jay的博客
04-02 3757
一文极速了解循环神经网络RNN、LSTM、GRU！
RNN、LSTM、GRU汇总
weixin_44986037的博客
04-08 1153
RNN、LSTM、GRU汇总
RNN、LSTM和GRU简介
weixin_43794311的博客
03-29 408
RNN图解 这是网络结构，但和时间有关，为了更好显示可以按时间展开 按训练次数展开 GRU 参考：http://www.atyun.com/16821.html
循环神经网络（RNN） LSTM与GRU
James_bobo的博客
09-24 1247
RNN简介 RNN是两种神经网络模型的缩写，一种是递归神经网络（Recursive Neural Network），一种是循环神经网络（Recurrent Neural Network）。虽然这两种神经网络有着千丝万缕的联系，但是本文主要讨论的是第二种神经网络模型——循环神经网络（Recurrent Neural Network）。 循环神经网络是指一个随着时间的推移，重复发生的结构。在自然语言处...
【训练LSTM模型】优化算法选择：适合LSTM的优化器
LSTM（Long Short-Term Memory）网络是一种特殊的RNN（Recurrent Neural Network）架构，它通过引入门控机制来解决传统循环神经网络难以学习长距离依赖关系的问题。在本章中，我们将深入了解LSTM的内部工作原理，...
【机器学习方法】神经网络和深度学习：利用LSTM等结构捕捉时间序列的复杂模式
[【机器学习方法】神经网络和深度学习：利用LSTM等结构捕捉时间序列的复杂模式](https://ucc.alicdn.com/images/user-upload-01/img_convert/f488af97d3ba2386e46a0acdc194c390.png?x-oss-process=image/resize,s_...
【序列数据预测】：利用LSTM解决车辆轨迹难题（专家方案）
长短期记忆网络（LSTM）作为一种特殊的循环神经网络（RNN），非常适合处理和预测时间序列中的重要事件。 序列数据预测是数据科学中极具挑战性的任务之一。由于其固有的时序特性，它要求模型能够捕捉到随时间推移而...
【深度学习进阶路线图】：掌握CNN到RNN的跃迁秘籍
通过对CNN和RNN的核心组件及结构进行分析，本研究揭示了这些网络在图像识别、序列数据处理以及自然语言处理等领域的关键作用。同时，本文还考察了CNN与RNN的结合技术，如注意力机制和Transformer架构，以及深度学习...
RNN、LSTM和GRU
Wisimer
02-26 1278
一、循环神经网络 传统的神经网络并不能做到保持信息的持久性，RNN(Recurrent Neural Retwork) 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。 在上面的示例图中，神经网络的模块，，正在读取某个输入 ，并输出一个值 。循环可以使得信息可以从当前步传递到下一步。 RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。所以，如果我们将这...
RNN-LSTM-GRU
Shingle_的博客
09-06 1586
循环神经网络（Recurrent Neural Network, RNN） 假设 Xt∈Rn×dXt∈Rn×d{X}_t \in \mathbb{R}^{n \times d} 是序列中时间步 t 的小批量输入 Ht∈Rn×hHt∈Rn×h{H}_t \in \mathbb{R}^{n \times h} 该时间步的隐藏层变量。跟多层感知机不同在于这里我们保存上一时间步的隐藏变量 Ht−1H...
RNN，LSTM，GRU
choose_c的博客
03-07 232
RNN LSTM 三个门(遗忘门，输入门，输出门)，隐层h，记忆细胞cell。 GRU 两个门(重置门，更新门)，隐层h。
RNN、GRU、LSTM
Hayden的博客
12-25 812
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/weixin_42432468 学习心得： 1、每周的视频课程看一到两遍 2、做笔记 3、做每周的作业练习，这个里面的含金量非常高。掌握后一定要自己敲一遍，这样以后用起来才能得心应手。 对RNN 、Simplified GRU、Full GRU、LSTM单元的理解： 1、RNN Unit 2、S...
RNN/LSTM/GRU/seq2seq公式推导
dili8870的博客
03-17 1869
　　概括：RNN 适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。 1. RNN 　　RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本...
自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
WANGYANG的博客
04-14 2599
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
RNN｜LSTM｜GRU_CodingPark编程公园
CodingPark 编程公园
01-08 206
RNN｜LSTM｜GRU-知识总结
RNN lstm gru
03-28
### RNN、LSTM 和 GRU 的概念及区别 #### 循环神经网络 (RNN) 循环神经网络是一种专门用于处理序列数据的模型。它具有输入层、输出层和隐藏层，与普通前馈神经网络不同的是，RNN 在不同的时间步 $ t $ 上有不同的状态，并且上一时刻 ($ t-1 $) 隐藏层的状态会被传递到当前时刻 ($ t $)，形成了一种动态的时间依赖关系。这种特性使得 RNN 能够捕捉序列中的上下文信息[^1]。 然而，标准的 RNN 存在一个显著的问题——梯度消失或爆炸现象，在训练过程中可能导致无法有效学习长时间跨度的信息[^3]。 --- #### 长短期记忆网络 (LSTM) 为了克服 RNN 中存在的梯度消失问题以及难以建模长期依赖性的缺陷，Hochreiter 和 Schmidhuber 提出了长短期记忆网络（Long Short-Term Memory, LSTM）。 LSTM 是 RNN 的一种改进版本，其核心在于引入了 **门控机制** 来调节信息流。具体来说，LSTM 包括三个主要组件：遗忘门、输入门和输出门。这些门的作用分别是决定哪些信息应该被丢弃、更新或者保留下来。通过这种方式，LSTM 可以更好地保存历史信息并缓解梯度消失问题[^2]。 在实际应用中，由于能够很好地捕获远距离的相关性，因此广泛应用于自然语言处理领域内的诸多任务，比如机器翻译、情感分析等场景下表现出色。 --- #### 门控循环单元 (GRU) 尽管 LSTM 解决了很多关于传统 RNN 所面临挑战方面取得成功，但它也增加了计算复杂性和内存消耗。于是 Cho 等人在研究基础上提出了更简洁高效的替代方案即 Gated Recurrent Unit(GRU) 。 相比起完整的三重门设计,LSTM简化成了两个部分:一个是reset gate用来控制候选激活值c_t'如何组合先前状态h_(t−1);另一个update gate则决定了最终新状态ht由多少比例来自旧状态加上新的贡献构成。这样的架构不仅减少了参数数量还提高了运行效率同时保持良好性能水平接近甚至超越原始形式下的表现效果. --- #### 使用场景对比 | 特性/算法 | RNN | LSTM | GRU | |------------|-------------------------|-------------------------------|--------------------------------| | 复杂程度 | 较低 | 高 | 中等 | | 参数量 | 少 | 多 | 居中 | | 效率 | 易受梯度消失影响 | 对抗梯度消失能力强 | 平衡了速度与能力 | | 应用范围 | 文本分类、简单序列预测 | 自然语言生成、语音识别 | 时间序列预测、对话系统优化 | 当面对较短的记忆需求时,RNN可能已经足够胜任;而对于那些需要考虑较长周期关联的任务而言(如视频帧间动作检测),那么采用具备更强表达力的LSTM将是更好的选择；如果追求更高的运算效能同时又不想牺牲太多准确性的话，则可以尝试利用GRU作为解决方案之一。 ```python import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.rnn = nn.RNN(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) class LSTMModel(nn.Module): def __init__(self, input_dim, hidden_dim, layer_dim, output_dim): super(LSTMModel, self).__init__() self.lstm = nn.LSTM(input_dim, hidden_dim, layer_dim, batch_first=True) class GRUModel(nn.Module): def __init__(self,input_dim,hidden_dim,output_dim,num_layers=1,bidirectional=False): super().__init__() self.gru=nn.GRU(input_dim,hidden_dim,num_layers=num_layers,batch_first=True,bidirectional=bidirectional) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值