RNN、LSTM和GRU的简单介绍

最新推荐文章于 2025-04-08 12:09:29 发布
最新推荐文章于 2025-04-08 12:09:29 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43774841/article/details/109584190
版权

1、RNN（Recurrent Neural Network，循环神经网络）

1.1为什么会有RNN的出现？
  因为以往的神经网络都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是现实生活中很多情况是，这一个的输入需要参照前面一个的输入的.
  比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。（用联系的眼光去看待各个神经元，而不是孤立而片面地去看待每个神经元）

1.2RNN的结构？
在这里插入图片描述

这个网络在t时刻接收到输入xt之后，隐藏层的值是 st，输出值是Ot。关键一点是， st的值不仅仅取决于xt，还取决于 s(t-1) 。我们可以用下面的公式来表示循环神经网络的计算方法：

用公式表示如下（为了方便理解，没有加入偏置b）：
在这里插入图片描述

2、LSTM（Long Short Term Memory networks

最低0.47元/天 解锁文章
自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
WANGYANG的博客
04-14 2598
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
RNN/LSTM/GRU/seq2seq公式推导
dili8870的博客
03-17 1868
　　概括：RNN 适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。 1. RNN 　　RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本...
RNN-LSTM-GRU
Shingle_的博客
09-06 1585
循环神经网络（Recurrent Neural Network, RNN） 假设 Xt∈Rn×dXt∈Rn×d{X}_t \in \mathbb{R}^{n \times d} 是序列中时间步 t 的小批量输入 Ht∈Rn×hHt∈Rn×h{H}_t \in \mathbb{R}^{n \times h} 该时间步的隐藏层变量。跟多层感知机不同在于这里我们保存上一时间步的隐藏变量 Ht−1H...
大话循环神经网络RNN、LSTM、GRU
全栈O-Jay的博客
04-02 3757
一文极速了解循环神经网络RNN、LSTM、GRU！
RNN、LSTM、GRU汇总
最新发布
weixin_44986037的博客
04-08 1151
RNN、LSTM、GRU汇总
RNN、LSTM、GRU
xueliang
05-19 427
RNN、LSTM、GRURNNLSTM RNN recurrent neural network， 循环神经网络更多应用于序列数据的处理中，网络参数共享是RNN的一个重要特点。 RNN结构示意图如下： 下面我们以具体的应用场景进行展开描述。 例如在文本分类问题中，输入的一句话可以看作是一个序列，输出为该条语句的类别标签。此时，RNN 的网络结构为： 其中，xix_ixi​表示语句中的一个单词，输出Y为类别标签。下面我们来看隐藏层单元中的运算，hih_ihi​表示了每一个隐层单元的状态： hi=ϕ(Whh
RNN、LSTM和GRU
Wisimer
02-26 1277
一、循环神经网络 传统的神经网络并不能做到保持信息的持久性，RNN(Recurrent Neural Retwork) 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。 在上面的示例图中，神经网络的模块，，正在读取某个输入 ，并输出一个值 。循环可以使得信息可以从当前步传递到下一步。 RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。所以，如果我们将这...
RNN,LSTM和GRU
Taizhuang_的博客
12-17 1697
关于RNN,LSTM和GRU的一些内容
python手动实现RNN、LSTM、GRU.zip
09-14
在深度学习领域，循环神经网络（Recurrent Neural Networks, RNN）、长短时记忆网络（Long Short-Term Memory, LSTM）和门控循环单元（Gated Recurrent Unit, GRU）是处理序列数据的重要模型。本资源包“python手动...
RNN、LSTM、GRU详解
qq_56640350的博客
03-05 911
在深度学习领域，序列数据（如语音识别、机器翻译、文本生成等）广泛应用于自然语言处理（NLP）、时间序列预测、语音和视频处理等任务中。针对序列数据，循环神经网络（RNN, Recurrent Neural Network）及其改进版本——长短时记忆网络（LSTM, Long Short-Term Memory）和门控循环单元（GRU, Gated Recurrent Unit）成为处理时序任务的核心模型。RNN 是一种具有记忆能力的神经网络，能够处理序列数据（如文本、音频、时间序列信号）。
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
【NLP5-RNN模型、LSTM模型和GRU模型】
weixin_34280060的博客
03-18 1673
RNN（Recurrent Neural Network)中文称为循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分（当下时间步的输入除了正常的输入外还包括上一步的隐层输出）对当下时间步的输出产生影响根据反向传播算法和链式法则，梯度的计算可以简化为以下公式Dnσz1w1∗σz2w2∗σznwnDn​σz1​w1。
RNN，LSTM，GRU解析
想当咸鱼的猫
08-28 1070
1. RNN 1.1 RNN的结构 对于每一个时间步ttt而言 a<t>=g(Waaa<t−1>+Waxx<t>+ba)a^{<t>}=g(W_{aa}a^{<t-1>}+W_{ax}x^{<t>}+b_a)a<t>=g(Waa​a<t−1>+Wax​x<t>+ba​) y<t>=Wyaa<t>+byy^{<t>}=W_{ya}a^{<t>}+b_y
序列模型RNN、LSTM、GRU通俗理解（全网之最很通俗）
WGS.
12-20 3029
文章目录带时间序列的任务场景标准神经网络建模的弊端一、RNN1.1 结构1.2 特点1.3 前向传播1.4 损失函数1.5 反向传播1.6 缺点二、LSTM2.1 思路2.22 结构2.23 对比RNN2.3 单元结构2.4 前向传播2.5 记忆细胞2.6 举例理解2.71 遗忘门2.72 更新门2.73 输出门2.8 LSTM缓解梯度消失的原因2.9 缺点三、GRU3.1 单元结构3.2 对比LSTM3.3 举例理解3.4 与LSTM区别3.5 GRU缓解梯度消失的原因 带时间序列的任务场景 标准神经网
RNN / LSTM / GRU 架构解析
zz3035786953的博客
11-15 1665
一、传统RNN模型 1.1 RNN模型介绍 1.2 RNN模型的分类 1.3 传统RNN的内部结构图 二、LSTM模型 2.1 LSTM组成 2.2 LSTM的内部结构图 2.3 Bi-LSTM 2.4 Pytorch中LSTM工具的使用 2.5 LSTM优势 2.6 LSTM缺点: 三、GRU模型 3.1 GRU组成 3.2 GRU的内部结构图和计算公式
RNN LSTM GRU
zz2230633069的博客
03-01 550
感谢：https://www.jianshu.com/p/9dc9f41f0b29
循环神经网络 RNN、LSTM、GRU
weixin_46545987的博客
04-20 504
与传统的前向神经网络和卷积神经网络 (CNN) 不同，循环神经网络 (Recurrent Neural Networks，RNN)是一种擅于处理序列数据的模型，例如文本、时间序列、股票市场等。本文主要介绍循环神经网络中的几种重要模型 RNN、LSTM、GRU 的发展过程与结构区别，并详细推导了 RNN 中的梯度爆炸与梯度消失的原因。
RNN LSTM GRU介绍
舟
01-12 1183
RNN 在实际应用中，我们会遇到很多序列形的数据 为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。 每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点 LSTM 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程...
rnn和lstm和gru
03-27
### RNN、LSTM 和 GRU 的区别及其适用场景 #### 1. 特点对比 - **RNN (Recurrent Neural Network)** 循环神经网络是一种用于处理序列数据的模型，其核心特点是能够在不同时间步 $ t $ 上共享权重并保持隐藏状态。然而，标准的 RNN 存在一个主要缺陷——难以捕捉长时间依赖关系，这主要是由于梯度消失或爆炸问题引起的[^2]。 - **LSTM (Long Short-Term Memory)** 长短期记忆网络通过引入特殊的门控机制解决了 RNN 中存在的梯度消失问题。具体来说，它维护了一个细胞状态（Cell State, $ C_t $）以及隐藏状态（Hidden State, $ H_t $）。这些额外的状态允许 LSTM 更好地保存历史信息，并决定哪些部分应该被遗忘或者更新][^[^34]。 - **GRU (Gated Recurrent Unit)** 门控循环单元可以看作是对 LSTM 的简化版本，在保留了大部分性能的同时减少了计算复杂度。相比于 LSTM 的三个门（输入门、忘记门和输出门），GRU 将输入门与忘记门合并成了单一的更新门，并且不再区分内部的记忆单元和外部的隐藏表示[^4]。 #### 2. 参数说明 在上述提到的各种架构中，“$ W_{hv} $" 是指连接当前时刻输入向量 v 到下一时刻隐含层 h 的权值矩阵之一；类似的还有其他类型的权重比如那些负责调节各门行为的参数等等[^1]。 #### 3. 应用场景分析 每种模型都有自己的优势所在： - 对于较短的时间跨度内的模式识别任务，简单的 RNN 可能已经足够满足需求； - 当面对更复杂的序列建模挑战时，则可能需要采用更加先进的变体如 LSTM 或者 GRU 来应对可能出现的数据间较长距离的相关性； - 如果资源有限但又希望获得接近最佳的结果的话，那么可以选择效率更高的 GRU 而不是完整的 LSTM 结构因为两者表现往往相差不大但在实现上后者更为轻便快捷一些. ```python import torch.nn as nn class SimpleRNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(SimpleRNN, self).__init__() self.rnn = nn.RNN(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): out, _ = self.rnn(x) out = self.fc(out[:, -1, :]) return out class LSTMModel(nn.Module): def __init__(self, input_dim, hidden_dim, layer_dim, output_dim): super(LSTMModel, self).__init__() self.hidden_dim = hidden_dim self.layer_dim = layer_dim self.lstm = nn.LSTM(input_dim, hidden_dim, layer_dim, batch_first=True) self.fc = nn.Linear(hidden_dim, output_dim) def forward(self, x): _, (hn, _) = self.lstm(x) out = self.fc(hn[-1]) return out class GRUModel(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size): super(GRUModel, self).__init__() self.gru = nn.GRU(input_size=input_size, hidden_size=hidden_size, num_layers=num_layers, batch_first=True) self.fc = nn.Linear(hidden_size, output_size) def forward(self, x): gru_out, _ = self.gru(x) out = self.fc(gru_out[:,-1,:]) return out ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值