深度学习6 -- LSTM/GRU

最新推荐文章于 2025-03-26 11:41:35 发布
最新推荐文章于 2025-03-26 11:41:35 发布
阅读量321 收藏
点赞数
分类专栏： # 算法原理 文章标签： 深度学习 lstm gru
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lian_Ge_Blog/article/details/129264835
版权
文章介绍了LSTM如何解决RNN的长距离依赖问题，LSTM通过添加额外的c状态来保存长期信息，以克服梯度消失。LSTM的结构包括输入门、前向计算等，虽然复杂但能有效处理序列数据。此外，GRU作为LSTM的简化版，也能达到相近的效果。
摘要由CSDN通过智能技术生成

引言

  • 在上一篇种介绍的循环神经网络，由于其只计算前一项和后一项距离较短，所以很难处理长距离依赖场景，所以本文将介绍一种改进之后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。但是个人理解的时候发现结构还是比较复杂的，所以部分公式不理解的地方会有标注，以后自己手动实现的时候会继续补充。

关于RNN为何无法解决长距离依赖问题的原因

  • 进一步详情请看参考资料，此处只作个人理解，可能有错误，酌情理解
    • 首先上篇结尾已经说过RNN存在的关于梯度消失和梯度爆炸的问题
      RNN篇

  • 我们就可以看到，从上图的t-3时刻开始，梯度已经几乎减少到0了。那么，从这个时刻开始再往之前走，得到的梯度（几乎为零）就不会对最终的梯度值有任何贡献，这就相当于无论t-3时刻之前的网络状态h是什么，在训练中都不会对权重数组W的更新产生影响，也就是网络事实上已经忽略了t-3时刻之前的状态。这就是原始RNN无法处理长距离依赖的原因

LSTM的结构

  • 简单来说LSTM就是在隐藏层只有h状态的基础上，又加入了一个c，用来保存长期状态

LSTM的前向计算：

  • 接下来是输入门：以及对应图解

LSTM的训练

  • 和之前的训练没有什么不同，但是不同的是LSTM的变量有些多，计算量更大，不过都是重复操作，最好抽出一个理解，再类比记忆
    • 两个损失函数，8个参数，以及符号o的计算方式

  • 一下全导数公式需要看完，整体去理解，作者有分开写偏导的表达式

  • 继续往下看，就知道该全导数怎么计算的了

  • 同理可得

  • 截图并非全部，但是可以类比得出，此处不做完整截图，可以发现只要最上面第一个全导数公式理解后，后面就跟以前的文章类似了，比较容易理解。

GRU

  • 关于GRU为啥结构简单了却能实现和LSTM不相上下的效果，可以看参考资料，个人觉得对于保存过去信息这一概念在数学公式上的表达，简答理解能相通即可，太复杂的去想反而容易无解，LSTM保留信息部分还有GRU保留信息部分可以参考下图。

参考资料

1 主要参考资料

2 包含GRU与LSTM异同的原因介绍

3 辅助理解LSTM结构图(有动图)

深度学习--递归神经网络--LSTM/GRU算法理论
weixin_35733800的博客
04-21 2440
目录 一 递归神经网络基础 1 递归神经网络与前馈神经网络的联系与区别 1）网络结构 2）输入角度 3）输出角度 2 递归神经网络的架构类别 第一种架构类别：从输入和输出的序列长度角度 1）N：N（最为常见的架构） 2）N：M（Seq2Seq或者Encoder-Decoder模型） 3）1：N（处理如图片标注问题，x是图像特征，y是一个句子） 4）N：1（处理如序列分类问题（...
算法实习准备之三：CNN/LSTM/GRU
for_graduation的博客
03-13 751
算法实习准备之三机器学习算法复习（六）每日leetcode 机器学习算法复习（六） 每日leetcode 题目：给你一个字符串 s，找到 s 中最长的回文子串。 解析：动态规划 class Solution(object): def longestPalindrome(self, s): n = len(s) dp = [[False] * n for _ in range(n)] ans = "" # 枚举子串的长度 l+1
SAEs
weixin_44808853的博客
09-05 2226
论文简读 摘要：利用历史刷卡数据，提出了一种基于深度学习的地铁短时客流量预测方法，基于栈式自编码器构建深度神经网络模型，采用自下而上逐层非监督预训练，在预训练结束之后，采用反向传播ＢP算法自上而下来微调整个网络的参数。 模型-基于SAE的深度学习 该模型底层由栈式自编码器构成，用于特征提 取；顶层为一个逻辑回归器，用于客流量预测。 AE ，自动编码器 AE（AutoEncoder）是一种试图重构...
深度学习基础概念（二）（科普入门）
星智云图工作室（StarImagine Studio）
07-14 2060
1、人工智能（AI）、机器学习（ML）和深度学习（DL）： 人工智能是终极目标，机器学习是实现人工智能的一种分支，深度学习隶属于人工神经网络体系，人工神经网络是基于统计的机器学习方法，传统的神经网络是一种浅层机器学习，深度学习是传统神经网络发展下的新一代神经网络。深度学习是通过建立、模拟人脑的信息处理神经结构来实现对外部输入的数据进行从低级到高级的特征提取，从而能够使机器理解学习数据...
深度学习基础-----LSTM GRU详解
qq_28057379的博客
10-25 336
https://towardsdatascience.com/illustrated-guide-to-lstms-and-gru-s-a-step-by-step-explanation-44e9eb85bf21 http://colah.github.io/posts/2015-08-Understanding-LSTMs/
GLU（Gated Linear Units）
热门推荐
仲夏
08-08 3万+
博客链接 门控线性单元Gated linear units是在Language model with gated convolutional network中提出的。 首先我们可以通过堆叠CNN来标识长文本，提取更高层、更抽象的特征，而且相比LSTM而言，我们需要的op更少（CNN需要O(N/k)个op，而LSTM将文本视为序列需要O(N)个op，其中N为文本长度，k为卷积核宽度），这样一来，...
GLU(Gated Linear Unit) 门控线性单元
酒酿小圆子呀～
05-13 5691
GLU可以理解为能够并行处理时序数据的CNN网络架构，即利用CNN及门控机制实现了RNN的功能。优点在进行时序数据处理时严格按时序位置保留信息从而提升了性能，并且通过并行处理结构加快了的运算速度。
深度学习实战41-基于LSTM-GRU模型搭建对糖尿病数据的预测与应用
06-25
深度学习实战41-基于LSTM-GRU模型搭建对糖尿病数据的预测与应用，本文将向大家介绍一种基于LSTM-GRU的糖尿病预测模型，包括模型的原理、中文糖尿病csv数据样例、利用PyTorch框架进行模型训练与预测的实现、以及训练...
ny-stock-price-prediction-rnn-lstm-gru.rar
06-20
标题中的“ny-stock-price-prediction-rnn-lstm-gru.rar”表明这是一个关于纽约股票价格预测的项目，其中使用了循环神经网络（RNN）、长短时记忆网络（LSTM）和门控循环单元（GRU）这三种深度学习模型。在金融领域，...
rnn-tutorial-gru-lstm-master分词
03-12
总的来说，“rnn-tutorial-gru-lstm-master分词”项目展示了如何利用深度学习技术解决中文分词问题。通过GRU或LSTM的建模能力，模型可以捕捉复杂的语义关系，并在大规模数据集上进行训练，以达到较高的分词准确性。...
代码+基于神经网络(堆栈自编码SAEs、长短时神经网络LSTM、门循环单元GRU)的交通预测包含数据集
03-25
基于神经网络(堆栈自编码SAEs、长短时神经网络LSTM、门循环单元GRU)的交通流预测 Python 3.6 Tensorflow-gpu 1.5.0 Keras 2.1.3 scikit-learn 0.19 交通流预测
Python基于深度学习的交通流预测(SAEs、LSTM、GRU)
02-24
Python基于深度学习的交通流预测(SAEs、LSTM、GRU) Requirement Python 3.6 Tensorflow-gpu 1.5.0 Keras 2.1.3 scikit-learn 0.19 Train the model Run command below to train the model: python train.py --model model_name You can choose "lstm", "gru" or "saes" as arguments. The .h5 weight file was saved at model folder. Experiment Data are obtained from the Caltrans Performance Measurement System (PeMS). Data are collected in real-time from individual detectors spanning the freeway system across all major metropolitan
Deep Learning for Hyperspectral Image Classification：An Overview（2019）——深度学习论文笔记（一）
immortal的小屋
05-28 5317
Deep Learning for Hyperspectral Image Classification：An Overview（2019） Abstract   首先，总结了传统机器学习方法的不足以及深度学习的优势。   然后，根据文献中网络提取的特征将最近的研究成果分为3类：spectral-feature networks，spatial-feature networks，spectral-...
LSTM和GRU
qq_29462849的博客
06-09 2183
前言 传统的RNN到后期会出现梯度消失现象，前面的内容到后面已经没有办法get到，为此，LSTM和GRU诞生了。 LSTM 长短期记忆模型（long-short term memory）是一种特殊的RNN模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的...
基于LSTM-GRU的道路交通流量预测系统实现
haosen
01-15 2764
针对当前道路交通流预测方法不能充分揭示交通流内部本质规律的问题,提出一种基于深度学习的预测模型,利用长短期记忆网络(LSTM),对交通流量进行了预测.结果显示,提出的预测模型具有较高的准确性,是一种有效的交通流预测方法。
matlab sae模型,深度学习笔记（三）：SAE模型
weixin_32771227的博客
03-19 2138
Stacked Autoencoder(SAE)模型是一个由多层稀疏自编码器组成的深度神经网络模型，其前一层自编码器的输出作为其后一层自编码器的输入，最后一层是个分类器(logistic分类器或者softmax分类器)(一)sparse autoencoder算法 1.概念：sparse autoencoder是一种非监督学习算法，需要满足以下两种约束：(1)autoencoder：输入等于输出 ...
理解LSTM网络
Deep Learning and NLP Farm
11-16 3579
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
LSTM和GRU简述
qq_44015059的博客
03-27 613
前言 最近在学习图神经网络GNN，其中涉及到了RNN的一些概念。为了更好理解GNN，因此回头再将RNN的概念进行一些梳理 (本文图片均来自台大李宏毅教授课程PPT) 1. RNN RNN缘起 循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的...
深度学习四大核心架构：神经网络（NN）、卷积神经网络（CNN）、循环神经网络（RNN）与Transformer全概述
最新发布
gorgor在码农
03-26 1257
NN → 类比：盲人摸象，每个神经元独立感知全局特征 → 局限：输入图像需展平为向量，丢失空间信息（如将28x28图片变成784维向量）CNN → 类比：人类视觉系统，先识别边缘→形状→物体 → 实战：用3x3卷积核扫描猫的图片，提取耳朵、胡须等局部特征RNN → 类比：阅读理解，需记住前文才能理解后文 → 痛点：输入句子“The cat sat on the mat”，到第6个单词时可能已遗忘“cat”Transformer → 类比：团队协作，每个单词直接关注全局上下文 → 优势：处理句
vue3的vuex使用
02-25
### Vue3 中 Vuex 的使用教程 #### 安装 Vuex 对于 Vue 3 应用程序，推荐安装最新版本的 Vuex。可以通过 npm 或者 yarn 来完成安装[^3]。 ```bash npm install vuex@next --save yarn add vuex@next --save ``` #### 创建 Store 实例 在 Vue 3 和 Vuex 结合使用的场景下，创建 store 实例的方式略有不同。下面是一个基本的例子来展示如何设置一个 Vuex store： ```javascript import { createStore } from 'vuex' const store = createStore({ state () { return { count: 0 } }, mutations: { increment (state) { state.count++ } }, actions: { increment ({ commit }) { commit('increment') } } }) export default store; ``` 这段代码展示了如何初始化一个新的 Vuex store 并导出它以便可以在应用中使用[^1]。 #### 集成到 Vue 应用 为了让 Vuex store 能够被整个应用程序访问，在创建 Vue 实例时需要传递 `store` 参数给根组件选项对象： ```javascript import { createApp } from 'vue' import App from './App.vue' import store from './store' // 假设上面的 store 文件位于 src/store.js createApp(App).use(store).mount('#app') ``` 这样做的目的是让所有的子组件都可以轻松地获取状态数据以及触发相应的操作。 #### 组件中的使用方式 当 Vuex 已经集成到了项目里之后，就可以很方便地读取全局状态或是提交变更请求了。比如在一个 `.vue` 单文件组件内部可以直接利用计算属性和方法来进行交互[^2]: ```html <template> <div class="example"> {{ count }} <button @click="increment">Increment</button> </div> </template> <script> export default { computed: { count() { return this.$store.state.count } }, methods: { increment() { this.$store.dispatch('increment') } } } </script> ``` 此部分介绍了如何在单文件组件中通过 `$store` 访问共享的数据源并执行相应的行为。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

矮人三等

秀儿，是你吗秀儿？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值