技能 | 三次简化一张图: 一招理解LSTM/GRU门控机制

最新推荐文章于 2024-12-01 11:40:55 发布
最新推荐文章于 2024-12-01 11:40:55 发布
阅读量5.8k 收藏 10
点赞数
文章标签： 网络 结构 方法 信息 图
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suiling1/article/details/80132127
版权
本文介绍了通过"三次简化一张图"的方法理解LSTM和GRU的门控机制，以解决RNN的梯度消失问题。LSTM有输入门、遗忘门和输出门，GRU则融合了这两个门，结构更为简洁。通过分析门控单元的作用，揭示了它们如何有效传播梯度信息。
摘要由CSDN通过智能技术生成

​图片描述

作者 | 张皓

引言

RNN是深度学习中用于处理时序数据的关键技术， 目前已在自然语言处理， 语音识别， 视频识别等领域取得重要突破， 然而梯度消失现象制约着RNN的实际应用。LSTM和GRU是两种目前广为使用的RNN变体，它们通过门控机制很大程度上缓解了RNN的梯度消失问题，但是它们的内部结构看上去十分复杂，使得初学者很难理解其中的原理所在。本文介绍”三次简化一张图”的方法，对LSTM和GRU的内部结构进行分析。该方法非常通用，适用于所有门控机制的原理分析。

预备知识： RNN

RNN (recurrent neural networks， 注意不是recursiveneural networks)提供了一种处理时序数据的方案。和n-gram只能根据前n-1个词来预测当前词不同， RNN理论上可以根据之前所有的词预测当前词。在每个时刻， 隐层的输出ht依赖于当前词输入xt和前一时刻的隐层状态ht-1:

图片描述

其中:=表示”定义为”， sigm代表sigmoid函数sigm(z):=1/(1+exp(-z))， Wxh和Whh是可学习的参数。结构见下图:

图片描述

图中左边是输入，右边是输出。xt是当前词，ht-1记录了上文的信息。xt和ht-1在分别乘以Wxh和Whh之后相加，再经过tanh非线性变换，最终得到ht。

在反向传播时，我们需要将RNN沿时间维度展开，隐层梯度在沿时间维度反向传播时需要反复乘以参数。因此， 尽管理论上RNN可以捕获长距离依赖， 但实际应用中，根据谱半径(spectralradius)的不同，RNN将会面临两个挑战：梯度爆炸(gradient explosion)和梯度消失(vanishing gradient)。梯度爆炸会影响训练的收敛，甚至导致网络不收敛；而梯度消失会使网络学习长距离依赖的难度增加。这两者相比， 梯度爆炸相对比较好处理，可以用梯度裁剪(gradientclipping)来解决，而如何缓解梯度消失是RNN及几乎其他所有深度学习方法研究的关键所在。

LSTM
LSTM通过设计精巧的网络结构来缓解梯度消失问题，其数学上的形式化表示如下:

最低0.47元/天 解锁文章
suiling1
关注
​​​​​​​DL之RNN/LSTM/GRU：RNN/LSTM/GRU算法动图对比、TF代码定义之详细攻略
头部AI社区或平台如有邀请博主AI技术主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-25 9683
DL之RNN/LSTM/GRU：RNN/LSTM/GRU算法动图对比、TF代码定义之详细攻略 目录 RNN、LSTM、GRU算法对比 1、RNN/LSTM/GRU对比 2、RNN/LSTM/GRU动图对比 TF代码定义 1、#对RNN进行堆叠：MultiRNNCell 2、RNN图结构对应的TF中的BasicRNNCell定义的Call函数 推荐...
推荐系统(十二) 门控机制在CTR模型中应用梳理
hong__fang的专栏
03-26 2661
门控机制在推荐系统被广泛应用，如多任务模型MMOE、PLE等，其主要作用相当于一个调节阀，控制信息流入或流出的程度，本文主要梳理几个包含门口机制思路的​CTR模型。
RNN中的门控循环结构---lSTM和GRU
qq_39691463的博客
03-08 2982
一：门控循环神经网络简介 门控循环神经网络是在经典RNN基础之上调整而出的网络结构，通过加入门控机制（非线性激活函数，通常是sigmoid）， 用来控制神经网络中的信息传递。门控机制可以用来控制记忆单元中哪些信息需要留下，哪些需要丢弃，新的输入信息又有 多少需要保留到记忆单元中。这样门控循环神经网络就可以学习跨度相对较长的长期依赖关系，而且不会产生梯度爆炸或 梯度弥散。具体的原理是：从数学角度上讲，在一般的循环神经网络中，网络的状态XT和XT-1之间是非线性的。而网络又是 在时间上共享参数W（cnn是空间上
门控机制?
最新发布
百态老人的博客
12-01 838
门控机制（Gating Mechanism）是一种在神经网络中用于控制信息流动的关键技术，广泛应用于递归神经网络（RNN）及其变体如长短期记忆网络（LSTM）和门控循环单元（GRU）。其主要功能是通过引入不同的门控单元来决定哪些信息应该被保留、丢弃或传递到下一个时间步。在LSTM中，门控机制包括三个主要的门控单元：遗忘门（Forget Gate）、输入门（Input Gate）和输出门（Output Gate）。遗忘门决定哪些信息应该从单元状态中丢弃或保留；输入门决定哪些新的信息将被存储在单元状态中；
循环神经网络（GRU）全面解析
hello.reader
11-13 5261
GRU（Gated Recurrent Unit，门控循环单元）是一种循环神经网络（Recurrent Neural Network, RNN）变体，旨在处理序列数据。GRU在LSTM（Long Short-Term Memory，长短期记忆网络）的基础上进行了简化，引入了更少的参数量和结构复杂度。GRU通过使用门控机制有效解决了传统RNN存在的梯度消失和梯度爆炸问题，尤其适合处理长时间依赖的数据。GRU的设计目的是在保持计算效率的同时，拥有较高的性能，适用于广泛的序列处理任务。
三次简化一张图: 一招理解LSTM/GRU门控机制
weixin_33828101的博客
09-05 1012
作者 | 张皓引言RNN是深度学习中用于处理时序数据的关键技术， 目前已在自然语言处理， 语音识别， 视频识别等领域取得重要突破， 然而梯度消失现象制约着RNN的实际应用。LSTM和GRU是两种目前广为使用的RNN变体，它们通过门控机制很大程度上缓解了RNN的梯度消失问题，但是它们的内部结构看上去十分复杂，使得初学者很难理解其中的原理所在。本文介绍”三次简化一张图”的方法，对LSTM和GRU的内部...
门控机制（Gating Mechanism）
Hilda121的博客
06-06 3882
门控机制（Gating Mechanism）是一种在神经网络中特别用于控制信息流动的技术，广泛应用于递归神经网络（RNN）及其变体（如LSTM和GRU）。为了形象地解释门控机制模型，我们可以用一个日常生活中的例子来帮助理解。
AI学习指南深度学习篇-门控循环单元中的门控机制
俞兆鹏的博客
09-01 824
循环神经网络是一种用于处理序列数据的神经网络，其核心思想是通过循环结构来保持前一时刻的信息，用于捕捉时间依赖性。每一个时间步的输入都会影响到隐藏状态，这使得RNN能够将历史信息传递到当前时刻，从而能够处理变长的输入序列。
深度探索：机器学习门控循环单元 (GRU)算法原理及其应用
qq_51320133的博客
04-11 7124
门控循环单元（GRU）作为一种有效的序列建模工具，凭借其独特的门控设计成功克服了传统RNN在处理长序列数据时的局限性。其简洁高效的架构、优良的性能表现使其在自然语言处理、语音识别、时间序列预测等诸多领域得到了广泛应用。尽管面临模型解释性、超参数敏感性等问题，但通过结合正则化技术、深度学习框架的优化以及硬件加速，GRU在实际应用中依然展现出了强大的竞争力。 展望未来，随着计算资源的增长和深度学习理论的发展，GRU可能会进一步融入更先进的模型结构或训练策略。同时，针对特定任务或数据类型的定制化GRU变种，以及
基于seq2seq的聊天系统，使用LSTM/GRU+注意力机制 使用框架pytorch
04-22
2. **LSTM与GRU**：LSTM是RNN的一种变体，能有效地解决长期依赖问题，通过门控机制保留和丢弃信息。GRU则是另一种简化版的门控RNN，它融合了LSTM的输入门、遗忘门和输出门为更新门和重置门，实现类似的效果，但计算...
Python深度学习（包含：BILSTM、LSTM、GRU 、BP
05-15
本文将深入探讨Python中实现的几种重要序列建模技术：双向长短期记忆网络（BILSTM）、长短期记忆网络（LSTM）、门控循环单元（GRU）以及反向传播算法（BP）。这些技术在处理序列数据，如自然语言处理（NLP）任务和...
循环神经网络的进化：PyTorch中的LSTM、GRU与更多
07-19
- **LSTM**：为了解决传统 RNN 的梯度消失问题，LSTM 引入了三个门控机制：输入门、遗忘门和输出门。这些门控机制使 LSTM 能够有效地管理长期依赖信息，从而在更长的序列上保持良好的性能。 - **GRU**：相比于 LSTM...
具有上下文门控机制的图LSTM，可用于理解语言
03-25
具有上下文门控机制的图LSTM，可用于理解语言
机器学习入门--门控循环单元(GRU)原理与实践
qq_45831510的博客
02-16 2626
本文介绍了门控循环单元（GRU）模型的数学原理、代码实现和应用实例。首先，文章详细解释了GRU模型中的重置门和更新门的作用，以及如何使用这些门来控制隐藏状态的更新。接着，通过pytorch和sklearn的房价数据集，展示了如何使用GRU模型进行训练和预测。在实验中，我们发现GRU模型能够有效地捕捉数据集中的模式，并取得了良好的预测效果。
门控系统、同步控制、反馈机制
www.薛定谔的猫茆博客.com
02-04 775
安全传感器可以检测乘客和障碍物的存在，当检测到危险情况时，控制器会立即停止门的运动。同步控制：为了确保车门与站台门的同步开启和关闭，门控系统需要具备同步控制功能。门控系统：车门与站台门的开启和关闭是由门控系统控制的。传感器用于检测车门和站台门的状态和位置，控制器根据传感器的反馈控制执行器实现门的开启和关闭。总之，车门与站台门同时开启的技术信息涉及门控系统、同步控制、反馈机制和安全保护措施等方面。车门与站台门同时开启是一项重要的安全措施，主要用于确保乘客在进出火车或地铁时的安全。
GRU(门控循环单元)详解
一去不复返的通信er
11-14 1297
GRU详细的分析
[深度学习] 门控循环单元GRU
藓类少女的博客
06-26 1278
门控循环单元（Gated Recurrent Unit, GRU）是一种用于处理序列数据的递归神经网络（Recurrent Neural Network, RNN）变体，它通过引入门控机制来解决传统RNN在处理长序列时的梯度消失问题。GRU与长短期记忆网络（LSTM）相似，但结构更为简化。以下是GRU的详细介绍：GRU由以下几个主要部分组成：具体来说，GRU的计算过程如下：假设xt是当前时间步的输入，ht−1​是上一时间步的隐状态，则GRU的更新过程可以用以下公式表示：GRU广泛应用于自然语言处理（NLP）
rnn lstm gru_总体上简化GRU，LSTM和RNN
weixin_26752765的博客
09-06 1043
rnn lstm gruSequence models are a special class of deep neural networks that have applications in machine translation, speech recognition, image captioning, music generation, etc. Sequence problems ca...
4.5.门控循环单元GRU
shiki217_的博客
08-06 1725
​ 对于一个序列，不是每个观察值都是同等重要的，可能会遇到一下几种情况：早期观测值对预测所有未来观测值都具有非常重要的意义。考虑极端情况，第一个观测值包含一个校验和，目的是在序列的末尾辨别校验和事否正确，我们希望有某些机制在一个记忆元里存储重要的早期信息。如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度。一些词元没有相关的观测值在对网页内容进行情感分析时，可能一些辅助的HTML代码与网页传达的情绪无关，我们希望有一些机制来跳过隐状态中的此类词元序列的各个部分存在逻辑中断。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>