浅谈RNN,LSTM和GRU

最新推荐文章于 2023-11-15 22:29:04 发布
最新推荐文章于 2023-11-15 22:29:04 发布
阅读量217 收藏
点赞数 1
分类专栏： NLP 文章标签： 神经网络 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flying_1314/article/details/108295922
版权

RNN

字面意思循环神经网络，接下来放一张结构图，大家就比较直观地可以理解了。

由这个图大家可以粗略地看出rnn的一个简单结构，它是一步一步向前传递的，所以说是和序列有关的。

上面这个图就比较具体了，我们可以看出rnn其实有三层网络结构：输入层，隐藏层和输出层，都说rnn是参数共享的什么意思呢？看图，所有的输入层到隐藏层都共用矩阵Whx，所有的隐藏层中的节点向前传递信息都共用矩阵Whh，所有隐藏层到输出层都共用矩阵Wyh。

LSTM

字面意思长短期记忆网络，它出现的意义在于rnn无法记忆长距离的信息。

具体我不做太多的阐述，上图的结构已经很清晰了，同时我会给出具体的计算公式，里面涉及到两个激活函数，sigmoid和tanh，如下图。

以上图片部分来源为深度之眼。

大家如果想进一步理解，网上的相关资料比较多，我这里推荐一篇深入理解LSTM,谢谢大家，有问题欢迎留言交流

flying_1314
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码)
12-28
使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码) 使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码) Feed forward Neural Network FFNN.ipynb Simple Moving Average SMA.ipynb ...
RNN及其变体（LSTM、GRU）的介绍
Yanir的博客
03-25 2633
先打个岔，区分一下recurrent neural network循环神经网络和recursive neural network递归神经网络。 recurrent: 时间维度的展开，代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上，在神经网络结构上表现为后面的神经网络的隐藏层的输入是前面的神经网络的隐藏层的输出； recursive: 空间维度的展开，是一个树结构，比如nlp里某句话，用recurrent neural network来建模的话就
RNN/LSTM/GRU/seq2seq公式推导
dili8870的博客
03-17 1561
　　概括：RNN 适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。 1. RNN 　　RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本...
RNNoise: Learning Noise Suppression（深度学习噪声抑制）（2）
热门推荐
dakeboy的博客
03-01 1万+
这篇文章主要介绍如何进行RNNoise的训练和测试1、 网络结构GRU VS LSTM网络顺序2、 数据集3、 更改采样率4、 训练过程(1) step 1 转换为pcm格式(2) step2 提取特征(3) step 3 数据转换(4) step 4 训练神经网络（5）step 5 获取权重数据4、 降噪参考文档 1、 网络结构 RNNoise分为三层嵌入式网络，由全连接层，GR...
RNN / LSTM / GRU 架构解析
最新发布
zz3035786953的博客
11-15 792
一、传统RNN模型 1.1 RNN模型介绍 1.2 RNN模型的分类 1.3 传统RNN的内部结构图 二、LSTM模型 2.1 LSTM组成 2.2 LSTM的内部结构图 2.3 Bi-LSTM 2.4 Pytorch中LSTM工具的使用 2.5 LSTM优势 2.6 LSTM缺点: 三、GRU模型 3.1 GRU组成 3.2 GRU的内部结构图和计算公式
大话循环神经网络RNN、LSTM、GRU
全栈O-Jay的博客
04-02 1916
一文极速了解循环神经网络RNN、LSTM、GRU！
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
基于Python进行RNN LSTM GRU测试及数据集试验【100012341】
05-22
使用递归神经网络和其变体(长短期记忆网络LSTM、GRU)在多个数据集(MNIST/FashionMNIST/CIFAR10)上进行训练、测试，比较效果 简单分析不同数据集给参数调整(递归神经网络层数、训练迭代次数)及过拟合现象带来的影响 ...
python手动实现RNN、LSTM、GRU.zip
09-14
参考链接：https://blog.csdn.net/qq_37534947/article/details/110442147，包含手动是实现RNN、pytorch实现RNN、LSTM、GRU。
Python碳价格时间序列预测（RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn ）
09-22
本文采用欧盟碳排放交易体系下的欧盟碳排放配额(EUA)数据。 实验采用在2013年4月15日至2020年3月30日期间使用的相同大小的数据集，包括1797个样本。 前80% 的数据被选为训练集...RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn
rnn,lstm与GRU详解
05-20
三种循环神经网络的介绍与比较，帮助大家对循环神经网络的理解
对RNN、LSTM、GRU的理解
weixin_45787600的博客
03-15 6742
本文章是根据本人在查阅了csdn，bilibili之后而写的心得，有部分内容转载于csdn。 试验结果是根据中国mooc大学 TensorFlow学习笔记提供的代码的结果。
RNN及LSTM、GRU详解，附pytorch代码解释，超详细讲解
m0_59156726的博客
06-13 2794
拿chatgpt给的答案，这就是这次的全部了，重要一点rnn都是历史的产物了，但是是基础，后面有机会在看transform如何克服rnn这些缺点，一度逆袭的。RNN：可以处理时间序列数据，具有记忆功能，能够传递信息；网络结构简单，易于实现；可以接受任意长度的输入。长期依赖关系不佳，容易出现梯度消失或爆炸问题；训练过程中参数更新困难，容易过拟合；难以处理变长的输入数据。LSTM：具有很好的长期依赖性，能够处理长序列数据；
RNN、LSTM、GRU
one_super_doer的博客
08-20 263
文章目录目标一、循环神经网络的介绍二、LSTM和GRU2.1 LSTM的基础介绍2.2 LSTM的核心2.3 LSTM中门结构2.3.1 遗忘门2.3.2 输入门2.3.3 输出门2.4 GRU，LSTM的变形2.5 双向LSTM 目标 1. 能够说出循环神经网络的概念和作用 2. 能够说出循环神经网络的类型和应用场景 3. 能够说出LSTM的作用和原理 4. 能够说出GRU的作用和原理 提示：以下是本篇文章正文内容，下面案例可供参考 一、循环神经网络的介绍 为什么有了神经网络还需要循环神经网络？ 在普
RNN、LSTM和GRU
Wisimer
02-26 1092
一、循环神经网络 传统的神经网络并不能做到保持信息的持久性，RNN(Recurrent Neural Retwork) 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。 在上面的示例图中，神经网络的模块，，正在读取某个输入 ，并输出一个值 。循环可以使得信息可以从当前步传递到下一步。 RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。所以，如果我们将这...
理解序列模型（RNN、LSTM、GRU）
skycol的博客
10-28 2347
什么是序列模型？RNN，LSTM, GRU模型。在语言识别，音乐生成，机器翻译这些激动人心的领域，序列模型都得到了广泛应用，本文介绍著名的RNN（recurrent neural network）和它的变体LSTM（long short termmemory），以及LSTM的简化GRU（gate recurrent unit）。
算法面试RNN、LSTM、GRU一文必备
weixin_44625028的博客
01-24 1022
算法面试必看
RNN、LSTM和GRU的简单介绍
weixin_43774841的博客
11-09 1109
1、RNN（Recurrent Neural Network） 1.1为什么会有RNN的出现？   因为以往的神经网络都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是现实生活中很多情况是，这一个的输入需要参照前面一个的输入的.   比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。（用联系的眼光去看待各个神经元，而不是孤立而片面地去看待每
RNN LSTM GRU 讲解
木东的博客
01-25 1994
前言 平时很少写总结性的文章，感觉还是需要阶段性总结一些可以串在一起的知识点，所以这次写了下。 因为我写的内容主要在时序、时空预测这个方向，所以主要还是把rnn，lstm，gru，convlstm，convgru以及ST-LSTM 一、 RNN 最为原始的循环神经网络，本质就是全连接网络，只是为了考虑过去的信息，输出不仅取决于当前输入，还取决于之前的信息，也就是输出由之前的信息(也就是状态state)和此时的输入决定。 1.1 结构图 1.2 公式 1.3 优缺点 1.3.1 优.
RNN、LSTM和GRU的不同点
06-12
RNN（Recurrent Neural Network）、LSTM（Long Short-Term Memory）和GRU（Gated Recurrent Unit）都是用于处理序列数据的神经网络模型，它们的不同点如下： 1. RNN是最基本的序列模型，它通过循环操作将当前时刻的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值