RNN 教程-part4，用python实现LSTM/GRU

最新推荐文章于 2024-06-19 16:36:01 发布
最新推荐文章于 2024-06-19 16:36:01 发布
阅读量6k 收藏 11
点赞数 1
分类专栏： ML 文章标签： RNNs LSTMs GRUs NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Thinking_boy1992/article/details/53184237
版权
本文是RNN教程的最后一部分，主要介绍LSTM和GRU神经网络。LSTM通过门控机制解决梯度消失问题，而GRU是其简化版。在许多任务中，LSTM和GRU表现相当，但GRU参数更少，可能训练更快。文中还介绍了如何在Python中实现GRU，并探讨了性能优化技巧，包括批量处理和使用Keras等深度学习库。
摘要由CSDN通过智能技术生成

本文翻译自
代码在Github上
这是Part4 ，RNN教程的最后一部分；
在这一部分，主要学习LSTM神经网络和GRU。LSTM在1997年首次提出，几乎是最流行的用于自然语言处理的深度学习模型。GRUs在2014年首次提出，是LSTMs的简单变体。让我们关注LSTMs,再看看GRUs有什么不同。
LSTM NETWORKS

前面提到，梯度消失问题能够阻止标准RNNs学习长距离的依赖关系。LSTMs通过门控机制来克服梯度消失。为了理解其中的含义，让我们看看LSTM是如何计算隐含层状态St.
这里写图片描述
这些等式看起来相当的复杂，但是比更不像想象中的那么难。首先，注意LSTM层仅仅是计算隐含层状态的另一种方法；之前我们使用这里写图片描述来计算隐含层状态；模块的输入为xt，当前的输入处于第t步，s(t-1)是上一步的状态。输出是新的隐含层状态；
LSTM单元做了同样的事情，只是方式不同。理解下面的图是关键；你可以把LSTM单元当作黑箱来对待，根据当前的输入和之前的隐含层状态，计算下一个隐含层状态；
这里写图片描述
让我们有个直觉的感受:LSTM 是如何计算隐含层状态的；相关博客
这里做简单的解释，读上述博客能够更深入的理解和好的可视化。但是，总结如下：

尤其是，在基本的LSTM框架下存在一些变体。一个通常的做法是构建窥视孔链接，它允许门不仅仅依赖于之前的隐含层状态St-1,而且依赖于先前的内部状态Ct-1,在门等式上添加一个新项；这里有很多变体，https://arxiv.org/pdf/1503.04069.pdf“>这篇文章评价了不同的LASTM架构；
GRUS
GRU层背后的思想和LSTM层背后的思想相似，等式如下：
这里写图片描述
GRU有两个门,一个重置门r和一个更新门，直观的，重置门决定了如何把新的输入与之前的记忆相结合，更新门决定多少先前的记忆起作用。如果我们把所有reset设置为全1，更新门设置为全0，又达到了普通RNN的形式；使用一个门机制学习长距离依赖的基本思想与LSTM相同，但是有如下不同点：
GRU有两个门 ，LSTM有三个门；
GRU不能处理
输入和遗忘门能够被更新门z耦合，重置门r能够直接应用于之前的隐含状态。因此，重置门的职责在LSTM中被拆分为r和z;
计算输出时不应用第二非线性函数；
这里写图片描述
GRU VS LSTM

最低0.47元/天 解锁文章
Thinking_boy1992
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python深度学习007：用python实现LSTM
惊鸿若梦一书生
12-20 1万+
import numpy as np # 定义一个LSTM类（input_width是输入数据的张量大小，state_width是状态向量的维度，learning_rate是学习率） class LstmLayer(object): def __init__(self, input_width, state_width, learning_rate): self.inp...
长短期记忆神经网络（LSTM）python实现
09-07
《NLP汉语自然语言处理原理与实现》第九章LSTM的python的代码实现，使用python3实现。可运行。
LSTM算法的Python实现
我就吃一口的BLOG
09-01 4945
加载canada数据集，构建LSTM建模的基础数据集，提炼训练集与测试集 基于keras构建LSTM的网络结构 对后面8条测试数据进行预测，并绘制对比图表
GRU基础知识以及相关名词解释
weixin_46042619的博客
06-19 817
GRU通过引入重置门和更新门，使得网络可以灵活地选择保留或者遗忘以前的状态，从而解决了传统RNN在长序列数据处理上的问题。其相对简单的结构和较少的参数使得GRU在实际应用中非常受欢迎。直观地展示GRU的工作原理，我会结合公式和图像一步步解释GRU的具体流程，包括候选隐藏状态和当前隐藏状态的生成过程。重置门 (r_t)决定了上一时刻的隐藏状态 (h_{t-1}) 在生成候选隐藏状态 (\tilde{h}_t) 时的影响。更新门 (z_t)
基于LSTM神经网络的负荷预测（Python代码实现）
weixin_46039719的博客
06-11 5504
目录1 概述2 算例3 Python代码实现4 结果 附件1
机器学习之LSTM的Python实现
热门推荐
MELF晓宇的博客
11-04 2万+
机器学习之LSTM的Python实现 什么是LSTM？ LSTM（长短期记忆人工神经网络），是一种可以学习长期依赖特殊的RNN（循环神经网络）。 传统循环网络RNN虽然可以通过记忆体，实现短期记忆，进行连续数据的预测。但是当连续数据的序列变长时，会使展开时间步过长，反向传播更新参数时梯度要按时间步连续相乘，会导致梯度消失。故引入LSTM（长短期记忆人工神经网络）。 LSTM的核心理念 循环核 注： iti_tit​：输入门（门限） ftf_tft​：遗忘门（门限） oto_tot​：输出门（门限） Ct
ny-stock-price-prediction-rnn-lstm-gru.rar
最新发布
06-20
标题中的“ny-stock-price-prediction-rnn-lstm-gru.rar”表明这是一个关于纽约股票价格预测的项目，其中使用了循环神经网络（RNN）、长短时记忆网络（LSTM）和门控循环单元（GRU）这三种深度学习模型。在金融领域，...
GA-LSTM 遗传算法优化的lstm 预测代码 python实现
04-07
通过Python实现，用户可以方便地调整和运行，这对于研究和实践中优化复杂模型的参数配置具有很高的价值。在深度学习和人工智能领域，这种组合方法有助于解决模型训练中的优化难题，特别是在数据有特定模式或长期依赖...
Bidirectional-stacked-RNN-with-LSTM-GRU
03-04
具有LSTM GRU的双向堆叠RNN 在这里，我为Twitter情感分析数据集使用带有LSTM / GRU单元的双向堆叠RNN开发了情感分类器，。 为了开发模型，我尝试了堆叠RNN的数量，隐藏层的数量，像元类型，跳过连接，梯度修剪和丢失...
python手动实现RNN、LSTM、GRU.zip
09-14
本资源包“python手动实现RNN、LSTM、GRU.zip”提供了使用Python从零开始构建这些模型的详细代码，以及使用PyTorch库实现的版本，帮助读者深入理解其工作原理和实现细节。 RNN是一种能够处理时间序列数据的神经网络...
深度学习-RNN-LSTM-卷积神经网络-算法实现-RNN-LSTM卷积神经网络Matlab实现
05-22
完整的Matlab源代码：提供了使用Matlab实现的RNN-LSTM卷积神经网络模型的完整源代码，包括数据预处理、模型构建、训练和验证过程。 详细的实现指导：源代码包含详细的注释，解释了每一步的目的和实现方式，帮助用户...
15.时间序列预测（LSTM模型）python代码实现
05-08
在时间序列预测问题中，建立LSTM模型，采用python语言代码实现
Python-利用LSTM进行多标签时间序列分类
08-11
利用LSTM进行多标签时间序列分类
基于python和tensorflow的lstm代码
02-27
基于python和tensorflow的长短时记忆网络lstm代码。
GRU模型预测.py,gru模型全称,Python
09-10
利用GRU模型预测短时客流（时间序列预测），以发现时间序列变量趋势
LSTM数据集+python源码
08-04
LSTM数据集+python源码,实测在Theano环境平台下可用！详情见我的博客：http://blog.csdn.net/zhongkelee/article/details/52090352
LSTM python 实现理解
happyday_d的博客
05-09 4563
LSTM理解 本文是对Nico’s blog Simple LSTM 翻译. ​ 几个星期前，我在Github上发布了一些LSTM代码，以帮助人们了解LSTM在实现层面的工作方式。 前向传递在其他地方都有很好的解释并且很容易理解[可参考wangduo对LSTM翻译]，但是我自己导出了backprop方程，并且backprop代码没有任何解释。 这篇文章的目的是在LSTM的背景下解释所谓的反向传播。...
如何卖菜！Python的LSTM递归神经网络算法
dltan
08-23 1349
研究目的 进行预测餐饮中每天菜品的销量，提前制定好采购计划，减小库存，提高预算。 分析思路 1.销量异常日展示 2.最冷款慢销菜品展示（可降价） 目的：提升销量 3.最优畅销菜涨价名称展示（可涨价） 目的：提升利润 4.菜品套餐营销组合价格策略（畅销菜涨价+滞销菜降价）*0.95% 目的：促销量 5.菜品偏好相关展示（目的：推送。由于买A菜的人，买了B菜，还买了C菜。推荐下一个有买A菜的人...
LSTM原理及python简易实现
s@dragon的博客
08-21 1792
LSTM原理及python简易实现 https://www.jianshu.com/p/daedde46eae5
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值