[人工智能-深度学习-53]：循环神经网络 - LSTM长短记忆时序模型的简化：门控循环网络GRU模型

最新推荐文章于 2024-09-05 09:10:22 发布
最新推荐文章于 2024-09-05 09:10:22 发布
阅读量1.6w 收藏 10
点赞数 2
分类专栏： 人工智能-深度学习 文章标签： 循环神经网络 递推神经网络 深度学习 GRU LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HiWangWenBing/article/details/121599096
版权

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121599096

目录

第1章 前序知识

1.1 RNN循环神经网络模型

1.2 LSTM长短记忆时序模型

1.3 LSTM模型的缺点

第2章 GRU模型详解

2.1 GRU模型概述

2.2 RNN网络结构对比

2.3 LSTM网络结构对比

2.4 GRU网络的结构

2.5 GRU网络特点

第3章 GRU的反向传播

第1章 前序知识

1.1 RNN循环神经网络模型

[人工智能-深度学习-51]：循环神经网络RNN基本原理详解_文火冰糖（王文兵）的博客-CSDN博客https://blog.csdn.net/HiWangWenBing/article/details/121387285

1.2 LSTM长短记忆时序模型

https://blog.csdn.net/HiWangWenBing/article/details/121547541https://blog.csdn.net/HiWangWenBing/article/details/121547541

1.3 LSTM模型的缺点

随着 LSTM 在自然语言处理特别是文本分类任务的广泛应用，人们逐渐发现 LSTM有如下一些缺点：

  • 具有训练时间长
  • 参数较多
  • 内部计算复杂

LSTM的简化模型GRU因运而生。

第2章 GRU模型详解

2.1 GRU模型概述

GRU（Gated Recurrent Unit）：门控循环网络

GRU是LSTM网络的一种效果很好的变体，相比较LSTM网络，GRU网络的结构更加简单，效果也很好，同时它也可以较好的解决RNN网络中长依赖、梯度消失等问题。因此也是当前非常流形的一种网络。

2.2 RNN网络结构对比

2.3 LSTM网络结构对比

2.4 GRU网络的结构

（1）输入：与RNN网络一致

  • 当前的时序样本输入Xt
  • 先前保存的状态Ht-1
  • Ht-1与Xt组合成[Ht-1, Xt] ，作为后续控制门的输入

（3）输出：与RNN网络一致

  • 输入：[Ht-1, Xt]
  • 运算矩阵Wi
  • 激活函数Tanh
  • 功能：生成本次迭代提取的新的状态特征 ~Ht
  • 数学表达式：

（3）Ht-1状态输入重置门：与LSTM类似

  • 输入：[Ht-1, Xt]
  • 运算矩阵Wr
  • 激活函数sigmod
  • 输出在[0, 1]之间
  • 功能（乘法）：用于对先前状态Ht-1的过滤选择。它决定了先前的状态Ht-1，有多大的比例能够参与本次特征状态输出Ht。0表示忽略先前保留的状态，1表示完全使用先前的状态，其他值表示使用先前状态的程度。
  • 数学表达式：

（4）Ht状态更新门: 与LSTM类似

  • 输入：[Ht-1, Xt]
  • 运算矩阵Wz
  • 激活函数sigmod
  • 输出在[0, 1]之间
  • 功能（乘法）：用于对当前状态Ht的更新控制。它决定了本次迭代的输出，多大程度可以用于最终的特征状态输出。0表示忽略本次迭代的状态输出，1表示100%使用当前的状态输出，其他值表示使用当前状态的程度。
  • 数学表达式：

（5）Ht的状态更新：与LSTM类似

  • 输入1= 先前状态Ht-1 * （1 - 状态更新门的输出）
  • 输入2 = 当前新生成的状态~Ht * 状态更新门的输出
  • 运算：累加/叠加 = 输入1 + 输入2 =》 

2.5 GRU网络特点

LSTM和CRU都是通过各种门函数来将重要特征保留下来，这样就保证了在long-term传播的时候也不会丢失。

此外GRU相对于LSTM少了一个门函数，因此在参数的数量上也是要少于LSTM的，所以整体上GRU的训练速度要快于LSTM。

第3章 GRU的反向传播

从前向传播过程中的公式可以看出要学习的参数有Wr、Wz、Wh、Wo。其中前三个参数都是拼接的（因为后先的向量也是拼接的），所以在训练的过程中需要将他们分割出来：

输出层的输入：　

输出层的输出：  

在得到最终的输出后，就可以写出网络传递的损失，单个样本某时刻的损失为：

则单个样本的在所有时刻的损失为：

采用后向误差传播算法来学习网络，所以先得求损失函数对各参数的偏导（总共有7个）：

其中各中间参数为：

在算出了对各参数的偏导之后，就可以更新参数，依次迭代知道损失收敛。

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121599096

文火冰糖的硅基工坊
关注
专栏目录
[架构之路-173]-《软考-系统分析师》-5-数据库系统-6-分布式数据库系统
文火冰糖（王文兵）的博客
04-23 6401
（即分片模式的处理结果）的存放节点。分布模式的。
人工智能--基于LSTM的文本挖掘
看，好自为之的博客！！！
12-30 2157
理解文本挖掘的基本原理和掌握利用LSTM对文本进行分类的方法
【深度学习】LSTM模型，GRU模型计算公式及其优缺点介绍
最新发布
DGFfdAf的博客
09-05 1548
LSTM（Long Short-Term Memory）也称长短时记忆结构, 它是传统RNN的变体, 与经典RNN相比能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆炸现象. 同时LSTM的结构更复杂, 它的核心结构可以分为四个部分去解析: 遗忘门结构分析:遗忘门内部结构过程演示: 输入门结构分析:输入门内部结构过程演示: 细胞状态更新分析:细胞状态更新过程演示: 输出门结构分析:输出门内部结构过程演示: Bi-LSTM即双向LSTM, 它没有改变LSTM本身任何的内部结构, 只是将LSTM应用两
GRU神经网络
lijf2001的博客
07-26 2457
通过重置门与更新门，GRU神经网络能够更好地记录历史信息。
GRU网络介绍
xiqiyanyan_yi的博客
08-28 401
1. **更新门（Update Gate）**：这是GRU中的主要门控机制，控制着过去记忆状态和当前输入之间的权衡。2. **重置门（Reset Gate）**：在GRU中，还存在一个可选的重置门，用于控制是否忽略过去的信息。3. **隐藏状态（Hidden State）**：GRU的隐藏状态是通过将更新门应用于过去的隐藏状态和重置门应用于过去的输入来计算的。GRU于2014年由Cho等人提出，它在循环神经网络的门控机制上进行了修改，以提供更好的性能和更快的训练。# 使用训练好的模型进行预测。
深度学习 《LSTM和GRU模型》
qq_29367075的博客
10-08 1599
前言： 前面我们学习了标准的单向单层和单向多层的RNN，这一博文我来介绍RNN的改进版本LSTM和GRU，至于为什么有这个改进的方案，以及如何理解它们，我会尽量用最通俗的语言俩表达。 学习自博客https://colah.github.io/posts/2015-08-Understanding-LSTMs/ 以及Andrew Ng的DL视频，我脑子比较笨，学了一整天才搞明白LSTM的设计初衷，于是赶紧整理下来免得遗忘，为了可快速书写，我就不自己画图了，截图来自上述博客。 以下全是通俗的话。 一：简单回顾下
GRU网络
maelee的博客
06-17 385
补充博客指路： https://blog.csdn.net/qq_38147421/article/details/107694477?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165547103016780357296333%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=165547103016780357296333&biz_id=0&
LSTM模型
weixin_46556352的博客
04-26 473
LSTM模型
rnn lstm gru_总体上简化GRU，LSTM和RNN
weixin_26752765的博客
09-06 1036
rnn lstm gruSequence models are a special class of deep neural networks that have applications in machine translation, speech recognition, image captioning, music generation, etc. Sequence problems ca...
时间序列预测实战(十七)PyTorch实现LSTM-GRU模型长期预测并可视化结果（附代码+数据集+详细讲解）
Snu77的博客
11-20 8840
本文给大家带来的实战内容是利用PyTorch实现LSTM-GRU模型，LSTM和GRU都分别是RNN中最常用Cell之一，也都是时间序列预测中最常见的结构单元之一，本文的内容将会从实战的角度带你分析LSTM和GRU的机制和效果，同时如果你是时间序列中的新手，这篇文章会带你了解整个时间序列的建模过程，同时本文的实战代码支持多元预测单元、单元预测单元、多元预测多元(为我个人编写大家如有转载请标明来源)，本文的实战内容通过时间序列领域最经典的数据集——电力负荷数据集为例进行预测。内容回顾->
（8-4）基于神经网络的推荐模型：基于循环神经网络（RNN）的推荐模型
码农三叔
03-10 1145
循环神经网络（Recurrent Neural Network，RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（RecursiveNeuralNetwork）。基于循环神经网络（RNN）的推荐模型可以使用序列数据的上下文信息来进行推荐。
LSTM、GRU网络深入解析：长短时记忆与门控循环单元比较
在深度学习领域，循环神经网络（Recurrent Neural Network，RNN）是一类非常重要的神经网络模型。它具有记忆功能，可以对序列数据进行建模，因此在自然语言处理、语音识别、时间序列预测等任务中得到了广泛的应用。 ...
长短时记忆网络LSTM原理与代码实例讲解
AI天才研究院
07-29 271
长短时记忆网络LSTM原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：长短时记忆网络（LSTM），递归神经网络（RNN），序列学习，时间序列分析，自然语言处理 1. 背景介绍
人工智能：CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)的知识梳理
JustinMars的博客
10-24 7376
CNN 主要用于处理图像数据，RNN 用于处理序列数据，而 DNN 是一个通用的深度神经网络架构，可以应用于各种不同类型的数据。这些神经网络架构也可以结合使用，以解决复杂的多模态问题。
pytorch入门：pytorch实现 LSTM ,GRU,RNN
AI路漫漫
01-27 2139
pytorch实现 LSTM ,GRU,RNN
神经网络学习笔记9——循环神经网络中的LSTM与GRU模型理解及代码解析
qq_45848817的博客
12-28 2803
循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。LSTM是RNN的一种，可以解决RNN长序列训练过程中的梯度消失和梯度爆炸问题，当一条序列足够长，那RNN将很难将信息从较早的时间步传送到后面的时间步，而LSTM能学习长期依赖的信息，记住较早时间步的信息，因此可以做到联系上下文。
（简洁）GRU网络
qq_43703185的博客
09-07 2080
原文链接：https://www.cnblogs.com/jiangxinyang/p/9376021.html 1、GRU概述 　　GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。 　　在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。具体结构如下
理解循环神经网络：GRU与LSTM模型解析
本文主要介绍了循环神经网络（RNN）中的两种重要模型：门控循环单元（GRU）和长短期记忆网络（LSTM），以及深度循环神经网络和双向循环神经网络的概念，并提供了GRU的代码示例。 循环神经网络（RNN）是一种能够处理...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文火冰糖的硅基工坊

你的鼓励是我前进的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值