RNN GRU模型 LSTM模型图解笔记

最新推荐文章于 2024-08-15 22:08:36 发布
最新推荐文章于 2024-08-15 22:08:36 发布
阅读量427 收藏
点赞数
分类专栏： Ai论文笔记 文章标签： rnn gru lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46381421/article/details/129111748
版权

RNN模型图解

引用

动手学深度学习v2–李沐
LSTM长短期记忆网络3D模型–B站up梗直哥丶

RNN模型

在这里插入图片描述
加入了一个隐变量（状态)，隐变量由上个隐变量和上一个输入而更新，这样模型就可以达到具有短期记忆的效果。

GRU

在这里插入图片描述
在RNN基础模型的基础上增加了2个门，能关注的机制（更新门Update gate），能遗忘的机制（遗忘门 Reset gate）
比如对于过去的记忆，Rt门控制了对于过去记忆保存的多少，成为候选状态 H ~ \widetilde{H} H t
Zt门控制了选用候选状态 H ~ \widetilde{H} H t的程度。

LSTM

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

和RNN相比，加入了新的时间链Ct（long term memory），可以形象的比喻为日记本，日记本有删除和增加操作：
根据此时的Xt和传过来上次的St-1对日记进行修改，再根据Xt和传过来上次的St-1增加。这样完成Ct的更新
在这里插入图片描述

更新后的Ct会和St-1、Xt对St进行更新

深度RNN

在这里插入图片描述
深度RNN就是增加隐藏层层数

双向循环神经网络

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
双向循环神经网络实现大概思路 将输入数据正序输入得到output1，再将输入数据逆置换输入得到output2，再合并起来丢到最后一层。显然双向循环神经网络通常用来抽取特征、填空，而不能用于预测未来。

7个七
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一份详细的LSTM和GRU图解，原理+实战讲解
2401_83621095的博客
03-22 1291
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
一份详细的LSTM和GRU图解
2401_84010784的博客
04-22 935
将隐藏状态传递给下一个时间步让我们观察RNN的一个单元格，看看如何计算隐藏状态。首先，将输入和先前隐藏状态组合成一个向量。这个向量现在含有当前输入和先前输入的信息。向量经过tanh激活，输出新的隐藏状态，或网络的记忆。RNN细胞tanh激活用于帮助调节流经网络的值。tanh函数将值压缩在-1和1之间。Tanh将值压缩到-1和1之间当向量流经神经网络时，由于各种数学运算，它经历了许多变换。假设一个值连续乘以3。你可以看到某些值如何爆炸增长的，导致其他值看起来微不足道。没有tanh的矢量变换tanh函数确保值在
NLP基础笔记——图解LSTM和GRU
IOT_victor的博客
03-31 1905
一、LSTM（Long-Short-Term-Memories） LSTM单元结构图及其公式 二、GRU（Gated Recurrent Units） GRU单元结构图及其公式 三、LSTM和GRU的区别？ GRU和LSTM的性能在很多任务上不分伯仲。 GRU 参数更少因此更容易收敛，但是数据集很大的情况下，LSTM表达性能更好。 从结构上来说，GRU只有...
深度学习与自然语言处理教程(5) - 语言模型、RNN、GRU与LSTM（NLP通关指南·完结）
ShowMeAI研究中心
05-03 5131
本文介首先介绍了语言模型及其应用场景，进而介绍了循环神经网络（RNN）及优化后的变种LSTM(长短时记忆网络)和GRU模型。
深度学习笔记 9 循环神经网络（RNN、LSTM）
qq_41134483的博客
10-20 2429
循环神经网络概念，RNN多结构详解，循环神经网络前向传播与反向传播，LSTM，GRU
一份详细的LSTM和GRU图解(1)
2401_84010762的博客
04-22 985
这就是LSTM或GRU的作用。它可以学习只保留相关信息来进行预测，忘记不相关的数据。在这种情况下，你记得的单词让你判断麦片是好的。为了理解LSTM或GRU如何实现这一点，让我们回顾一下RNN。RNN的工作原理是：第一个词被转换成机器可读的向量。然后RNN逐个处理向量序列。逐个处理序列处理时，它将先前的隐藏状态传递给序列的下一步。隐藏状态充当神经网络的记忆。它保存着网络以前见过的数据信息。将隐藏状态传递给下一个时间步让我们观察RNN的一个单元格，看看如何计算隐藏状态。首先，将输入和先前隐藏状态组合成一个向量。
一份详细的LSTM和GRU图解，2024年最新OMG学它
2401_84140442的博客
04-18 792
LSTM的核心概念是单元状态（cell state），它是多种不同的门。它的输出是隐藏状态。然后将新的单元状态和新的隐藏状态传递到下一个时间步。现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。向量经过tanh激活，输出新的隐藏状态，或网络的记忆。处理时，它将先前的隐藏状态传递给序列的下一步。
机器学习笔记 ：LSTM 变体 （conv-LSTM、Peephole LSTM、 coupled LSTM、conv-GRU，TPA-LSTM）
热门推荐
qq_40206371的博客
02-22 1万+
1 LSTM复习 机器学习笔记 RNN初探 & LSTM_UQI-LIUWJ的博客-CSDN博客 机器学习笔记：GRU_UQI-LIUWJ的博客-CSDN博客_gru 机器学习 2 PeepholeLSTM 就是计算输入门、遗忘门和输出门 的时候，我们不仅仅考虑h和x，还将C考虑进来 3 coupled LSTM 输入门和遗忘门二合一 4 Conv LSTM 可以看到conv LSTM中也使用了peephole LSTM的结构——cell部分也用于遗忘...
RNN/LSTM/GRU/seq2seq公式推导
dili8870的博客
03-17 1635
　　概括：RNN 适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。 1. RNN 　　RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本...
一网打尽神经序列模型之RNN及其变种LSTM、GRU,rnn神经网络模型代码,Python
09-10
通过阅读和实践“一网打尽神经序列模型之RNN及其变种LSTM、GRU”提供的材料，你将能深入理解这些模型的内部机制，并学会如何在Python环境中构建和训练它们。这将为你在处理各种序列学习问题时提供强大的工具。
基于RNN、GRU、LSTM和Attention的“时间序列预测”代码
07-22
在时间序列预测任务中，RNN、GRU、LSTM和Attention是常用的深度学习模型。通过使用这些模型，可以捕获时间序列数据中的长期依赖关系和模式，从而有效地预测未来时间点的数值或趋势。 在实现方面，可使用深度学习框架...
RNN、LSTM模型学习1
08-08
RNN、LSTM 模型学习 1 RNN（Recurrent Neural Networks，递归神经网络）是一种常用的深度学习模型，广泛应用于自然语言处理、语音识别、图像caption生成等领域。LSTM（Long Short-Term Memory，长短期记忆）是 RNN ...
使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码)
12-28
使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码) 使用 ARIMA、RNN、LSTM 和 GRU 模型预测电力负荷（Python完整源码) Feed forward Neural Network FFNN.ipynb Simple Moving Average SMA.ipynb ...
深度学习课程思维导图，CNN，RNN，GRU，LSTM等模型特点应用，前沿技术和展望
09-19
本课程涵盖了一系列深度学习的关键概念和技术，包括人工神经网络、卷积神经网络（CNN）、循环神经网络（RNN），以及RNN的变体，如门控循环单元（GRU）和长短期记忆网络（LSTM）。这些模型在图像识别、语音识别和自然...
超简单理解LSTM和GRU模型
weixin_46713695的博客
08-15 304
超简单理解LSTM和GRU模型
工业视觉智能-分割模型基础知识
08-18
根据《阿里云工业视觉智能高级工程师ACP认证免费课程》（https://edu.aliyun.com/course/3128115/lesson/342981389）创建的个人笔记
计算机毕业设计jsp高考志愿选择辅助系统idea论文
最新发布
08-18
计算机毕业设计jsp高考志愿选择辅助系统idea论文
分享一款特别好看特别美的樱花博客前端页面
08-18
分享一款特别好看特别美的樱花博客前端页面
深度学习序列模型：RNN, LSTM, GRU
RNN有多种不同的结构，例如基本的RNN、长短时记忆网络（LSTM）和门控循环单元（GRU）。这些变体旨在解决传统RNN中的梯度消失问题，使得网络能够更好地学习和存储长期依赖。 1.8 循环神经网络的梯度消失（Vanishing ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值