LSTM及GRU图解

最新推荐文章于 2024-04-22 03:43:05 发布
最新推荐文章于 2024-04-22 03:43:05 发布
阅读量5.8k 收藏 20
点赞数 3
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dian1pei2xiao3/article/details/80643814
版权
本文深入探讨了LSTM（长短期记忆网络）和GRU（门控循环单元）的工作原理，首先介绍了RNN的基础，然后详细阐述了LSTM的内部机制，包括如何处理输入和细胞状态。接着，对比了LSTM和GRU的结构差异，指出GRU具有更少的参数，没有细胞状态存储，这使得GRU在某些场景下更具效率。
摘要由CSDN通过智能技术生成

lstm也是一种递归神经神经网络，那么要了解lstm之前先看看什么是RNN

从上可以看出rnn有两个输入x1,h0;两个输出h1,y1.h1,x2作为下一时刻的输入，通过f函数，输出h2,y2;依次下去。。。。不管输入的序列有多长，只有一个f函数，那么自然减少了参数的数量；从上图也可看出为什么rnn可以作为时间序列的预测，




下面是 深层的RNN,只是多了一层，然后下一层的输出是上衣一层的输入


深层的RNN模型的另一种



RNN里面的函数实现


下面左图是RNN，右图是LSTM；从中可以看出LSTM比RNN多了一个输入，多一个输出，这就是传说中的细胞状态，说明LSTM具有长期依赖性。c变化的比较慢，h变化的比较快。c中保存的信息比较多，具有长期记忆的功能

最低0.47元/天 解锁文章
女搬运工
关注
专栏目录
LSTM和GRU
weixin_42717395的博客
04-03 508
Long Short Term 网络，一般就叫做 LSTM ，是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！ 　　所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。 ...
补充：关于GRU的详细运作原理以及特殊的优化思路
最新发布
weixin_65502565的博客
08-05 841
在GRU中引入一个内部的循环机制，这个机制可以进一步处理候选隐藏状态，以便更好地控制信息流。这种内部循环可以用来模拟更复杂的逻辑处理过程，类似于大脑中的多层次处理。
图解LSTM——一文吃透LSTM
YG的博客
08-17 1万+
图解LSTM——一文吃透LSTM v0版(20210817)：本版本将通过图解LSTM的方式，逐步剖析LSTM的内部结构，力求把LSTM的结构和公式刻在大家的脑海中。当前版本并不会对LSTM的有效机制原因和反向传播进行分析，重点在于LSTM的结构展现上，也不会牵扯别的太多，就一个目的，让大家看透“LSTM”。 一、理解第一步：宏观认识 LSTM能干什么？ 简单说，就是将一串向量序列，转换为另一串含有更多特征信息的向量序列,也可以理解为embedding的一种方式。在实际应用中，输入的可以是一维的信号
一幅图真正理解LSTM、BiLSTM
u012254599的博客
11-28 1950
本文对RNN、LSTM、BiLSTM的内部结构和输入输出做了透彻的剖析，目标是能够解答LSTM和BiLSTM的任何疑问。RNN：循环神经网络LSTM：长短期记忆网络BiLSTM：双向长短期记忆网络重要的先验知识本质上单个RNN cell是在多个时间步上展开的形式，也可以理解为RNN是神经网络在时序上的权重共享（CNN相当于空间上的权重共享）LSTM也都是一样。
LSTM从入门到精通（形象的图解，详细的代码和注释，完美的数学推导过程）
mary19831的博客
03-16 5万+
按照八股文来说：RNN实际上就是一个带有记忆的时间序列的预测模型RNN的细胞结构图softmax激活函数只是我举的一个例子，实际上得到y也可以通过其他的激活函数得到其中a代表t-1时刻隐藏状态，a代表经过X这一t时刻的输入之后，得到的新的隐藏状态。公式主要是大白话解释一下就是，X是今天的吊针，a是昨天的发烧度数39，经过今天这一针之后，a变成38度。这里的记忆体现在今天的38度是在前一天的基础上，通过打吊针来达到第二天的降温状态。
GRU与LSTM总结
热门推荐
lreaderl的博客
09-18 12万+
一、LSTM（长短期记忆网络）LSTM是一种特殊的RNN类型，一般的RNN结构如下图所示，是一种将以往学习的结果应用到当前学习的模型，但是这种一般的RNN存在着许多的弊端。举个例子，如果我们要预测“the clouds are in the sky”的最后一个单词，因为只在这一个句子的语境中进行预测，那么将很容易地预测出是这个单词是sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的
LSTM、GRU
算法探索之路
03-18 448
一份详细的LSTM和GRU图解，原理+实战讲解
2401_83621095的博客
03-22 1323
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
一份详细的LSTM和GRU图解
2401_84010784的博客
04-22 944
将隐藏状态传递给下一个时间步让我们观察RNN的一个单元格，看看如何计算隐藏状态。首先，将输入和先前隐藏状态组合成一个向量。这个向量现在含有当前输入和先前输入的信息。向量经过tanh激活，输出新的隐藏状态，或网络的记忆。RNN细胞tanh激活用于帮助调节流经网络的值。tanh函数将值压缩在-1和1之间。Tanh将值压缩到-1和1之间当向量流经神经网络时，由于各种数学运算，它经历了许多变换。假设一个值连续乘以3。你可以看到某些值如何爆炸增长的，导致其他值看起来微不足道。没有tanh的矢量变换tanh函数确保值在
一份详细的LSTM和GRU图解(1)
2401_83641180的博客
04-13 590
这就是LSTM或GRU的作用。它可以学习只保留相关信息来进行预测，忘记不相关的数据。在这种情况下，你记得的单词让你判断麦片是好的。为了理解LSTM或GRU如何实现这一点，让我们回顾一下RNN。RNN的工作原理是：第一个词被转换成机器可读的向量。然后RNN逐个处理向量序列。逐个处理序列处理时，它将先前的隐藏状态传递给序列的下一步。隐藏状态充当神经网络的记忆。它保存着网络以前见过的数据信息。将隐藏状态传递给下一个时间步让我们观察RNN的一个单元格，看看如何计算隐藏状态。首先，将输入和先前隐藏状态组合成一个向量。
LSTM与GRU
地中海の养成记
04-24 1531
LSTM与GRU内部运行机制的介绍1、RNN2、LSTM3、GRU 1、RNN ▌问题：短时记忆 RNN会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本进行预测，RNN 可能从一开始就会遗漏重要信息。 在反向传播期间，RNN 会面临梯度消失的问题。 梯度是用于更新神经网络的权重值，消失的梯度问题是当梯度随着时间的推移传播时梯度下
RNN-LSTM-GRU
Shingle_的博客
09-06 1508
循环神经网络（Recurrent Neural Network, RNN） 假设 Xt∈Rn×dXt∈Rn×d{X}_t \in \mathbb{R}^{n \times d} 是序列中时间步 t 的小批量输入 Ht∈Rn×hHt∈Rn×h{H}_t \in \mathbb{R}^{n \times h} 该时间步的隐藏层变量。跟多层感知机不同在于这里我们保存上一时间步的隐藏变量 Ht−1H...
LSTM和GRU介绍
weixin_44023658的博客
09-28 2535
反向传播(Back Propagation)是一种与最优化方法(比如梯度下降方法)结合、用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度，然后将梯度反馈给最优化方法，用来更新网络权重以最小化损失函数。 在神经网络中一个典型的问题就是梯度消失(Gradient Vanishing)的问题，其原因在于是随着神经网络层数的加深，梯度逐渐减小甚至接近0，当梯度变的非常小的时候，就不能为学习提供足够的信息。 Recurrent Neural Networks(递归神经网络，RNN)也存在梯度消
LSTM与GRU参数
09-13
LSTM（长短期记忆网络）和GRU（门控循环单元）是两种常用的循环神经网络（RNN）变体，用于解决传统RNN面临的长期依赖问题。 对于LSTM和GRU而言，它们的参数数量是不同的。GRU具有更少的参数，是因为它没有LSTM中的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值