为什么使用 LSTM 训练速度远大于 SimpleRNN？

最新推荐文章于 2023-12-31 01:32:59 发布
最新推荐文章于 2023-12-31 01:32:59 发布
阅读量1.1k 收藏 1
点赞数 2
文章标签： 深度学习 tensorflow rnn lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuo_in_csdn/article/details/118756665
版权

        今天试验 TensorFlow 2.x ， Keras 的 SimpleRNN 和 LSTM，发现同样的输入、同样的超参数设置、同样的参数规模，LSTM 的训练时长竟然远少于 SimpleRNN。

        模型定义：

 

 

        训练参数都这样传入：

        我们知道，LSTM 是修正了的 SimpleRNN（我随意想出来的词，“修正”），或者说，是在 SimpleRNN 基础之上又添加了别的措施使模型能考虑到超长序列的标记之间的依赖。 缓解了梯度消失和梯度爆炸的问题。

        所以，LSTM 比 SimpleRNN 是多了很多参数矩阵的，且每一步也多了一些计算。而训练过程既有前向，又有反向，不管哪个过程，理论上 LSTM都是比SimpleRNN要花更多时间的，那么为什么我在使用 TensorFlow with Keras 时会出现相反的情况呢？

        训练情况（第一个 epoch）：

SimpleRNN 的

最低0.47元/天 解锁文章
shuo_in_csdn
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
基于pytorch使用LSTM实现文本匹配任务代码和训练文件
03-04
使用基于PyTorch框架的LSTM（长短期记忆）网络在Google Colab 上面来实现文本匹配任务，包括完整的代码实现和必要的训练数据文件。这个过程涉及构建一个深度学习模型，该模型能够理解并比较两段文本的含义，判断它们...
142-3_LSTM_LSTM时间序列_lstm预测_模型训练_matlab
09-10
标题中的“142-3_LSTM_LSTM时间序列_lstm预测_模型训练_matlab”表明这是一个关于使用MATLAB进行LSTM（长短期记忆网络）模型训练，用于处理时间序列预测的教程或项目。LSTM是一种特殊的循环神经网络（RNN），在处理...
LSTM为什么比RNN好
cyz0202的博客
04-15 5169
来自知乎大佬Towser的回答，比较深刻，也加了点自己的注释，侵删 “LSTM 能解决梯度消失/梯度爆炸”是对 LSTM 的经典误解，RNN 中的梯度消失/梯度爆炸和普通的 MLP 或者深层 CNN 中梯度消失/梯度爆炸的含义不一样。MLP/CNN 中不同的层有不同的参数，各是各的梯度；而 RNN 中同样的权重在各个时间步共享，最终的梯度 g = 各个时间步的梯度 g_t 的和。（RNN反向...
放弃 RNN/LSTM 吧，因为真的不好用！望周知~
CSDN 人工智能
04-24 1万+
翻译 | 张涛出品 | 人工智能头条（公众号ID：AI_Thinker）2014 年 RNN/LSTM 起死回生。自此，RNN/LSTM 及其变种逐渐被广大用户接受和认可...
LSTM 与 RNN 的比较分析：找出优势和不足
禅与计算机程序设计艺术
12-31 1967
1.背景介绍 深度学习技术的发展，尤其是在自然语言处理、计算机视觉等领域的应用，已经取得了显著的成果。在这些领域中，循环神经网络(RNN)和长短期记忆网络(LSTM)是两种非常重要的神经网络架构，它们具有很强的表示能力和学习能力。在本文中，我们将对比分析 RNN 和 LSTM 的优势和不足，以帮助读者更好地理解这两种神经网络架构的特点和应用场景。 1.1 RNN 简介 RNN 是一种特殊的神...
简易理解RNN与LSTM
G1011的博客
11-22 175
简易理解RNN与LSTM 参考：https://blog.csdn.net/Hungryof/article/details/79016506
【深度学习框架Keras】循环神经网络(SimpleRNN与LSTM)
热门推荐
bqw的博客
11-05 1万+
说明： 主要参考Francois Chollet《Deep Learning with Python》 代码运行环境为kaggle中的kernels； 数据集IMDB需要手动添加； 循环神经网络和LSTM请参考：【深度学习】：循环神经网(RNN)、【深度学习】：长期依赖与LSTM # This Python 3 environment comes with many helpful analy...
LSTM训练_lstm训练_LSTM时间序列_时间序列_
09-30
**LSTM训练** LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），设计用于处理序列数据，特别是时间序列数据。在LSTM中，记忆单元、输入门、输出门和遗忘门的组合使其能够有效地捕获长期依赖性，...
final.rar_LSTM_LSTM权重更新_LSTM网络_lstm训练
07-14
lstm网络数据处理，网络训练以及权重自动训练更新。
LSTM训练和预测算法关于航迹预测.zip
01-07
本资料包" LSTM训练和预测算法关于航迹预测.zip "显然包含了与使用LSTM进行航迹预测相关的代码和可能的数据集。 LSTM的核心思想是解决传统RNN在处理长序列时可能出现的梯度消失和梯度爆炸问题。它通过引入“门”...
LSTM速度复习
cj1064789374的博客
03-06 398
长短时记忆网络LSTM中，ft,ot,it是门控，表示右边的值有多少能通过（不就是在BP网络上加了这种叫“门”的东西嘛，这个门控也是由各传入*权值激活出来的），整个算法是关键是出现了控制神经元有多少能通过这种思想，关键的信息会保留在中间cell的位置（可以理解为隐藏层） 记忆：三个门，输出门，输入门，忘记门 先不看输出输出输入门，就看忘记门，就是在RNN基础上，利用上一轮总输出及当前输入做门控...
几个小技巧，LSTM seq2seq模型训练提速数倍
u013705518的博客
08-10 1万+
LSTM seq2seq模型采用分阶段调整学习率加上大batch_size预训练模型，训练时间可以缩短272757/49406=5.5倍。
理解LSTM网络
Deep Learning and NLP Farm
11-16 3391
英文原地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 中文原地址：http://www.jianshu.com/p/9dc9f41f0b29 Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理
RNN vs LSTM：序列数据处理的选择
jakelihua
09-27 253
序列数据是一类常见的数据类型，涵盖了自然语言、时间序列、音频等众多领域。处理序列数据时，选择合适的模型对于任务的成功至关重要。RNN和LSTM是两种常用的循环神经网络模型，本文将对它们进行对比分析。
RNN与LSTM区别
WangYouJin321的博客
03-23 4311
RNN与LSTM的区别。 首先，对于基本RNN来说，它能够处理一定的短期依赖，但无法处理长期依赖问题。比如句子The cat, which already ate …, was full.和句子The cats, which already ate …, were full.，两句话的差别在于主语和谓语动词的单复数，由于句子比较长，RNN就无法处理这种问题。那么RNN为什么无法处理这种问题呢？因为...
机器学习-14-Recurrent Neural Network part2(循环神经网络RNN part2)
迷雾总会解
12-15 663
Recurrent Neural Network(Ⅱ) 上一篇文章介绍了RNN的基本架构，像这么复杂的结构，我们该如何训练呢？ Learning Target Loss Function 依旧是Slot Filling的例子，我们需要把model的输出yiy^iyi与映射到slot的reference vector求交叉熵，比如“Taipei”对应到的是“dest”这个slot，则reference vector在“dest”位置上值为1，其余维度值为0 RNN的output和reference vec
深度学习笔记4——RNN、LSTM
baidu_41906969的博客
03-14 1261
RNN RNN与BP的区别 传统的神经网络没有设计记忆结构，难以处理序列数据，循环神经网络（RNN）针对BP神经网络的缺点，增加了信息跨时代传递的结构。 当我们处理与事件发生的时间轴有关系的问题时，比如自然语言处理，文本处理，文字的上下文是有一定的关联性的；时间序列数据，如连续几天的天气状况，当日的天气情况与过去的几天有某些联系；又比如语音识别，机器翻译等 RNN的历史信息传递方式 对于RNN，每个时刻的隐藏层除了连接本层的输入层与输出层，还连接上一时刻和下一时刻的隐藏单元。 BPTT 基于时间的反向传播（
【RNN详解】SimpleRNN，LSTM，bi-LSTM的原理及Tensorflow实现
qq_43018832的博客
02-15 1969
RNN是一种特殊的神经网络结构，它是根据“人的认知是基于过往的经验和记忆”这一观点提出的，它与DNN，CNN不同的是：它不仅考虑前一时刻的输入，而且赋予了网络对前面内容的一种“记忆”功能，对于处理序列数据比较友好。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
模型训练速度下降
zhangjipinggom的博客
05-11 2465
1. 问题描述： 重复训练之前的模型，发现训练速度明显下降，之前寻一个epoch只需要4分钟，但现在训一个epoch半个多小时。 2. 解决办法 排查了一整天，结果在另一个人的程序停止后，我的训练速度自动回复了正常。我没有解决，服务器自己解决了。。。 下面这张图：6号GPU是另一个同学在用，我的训练很慢的时候，他的GPU利用率基本保持在95%~97%（watch -n 1 nvidia-smi看得）。而我的GPU 利用率在0和20%左右，50%左右跳跃，大概60%的时间停在60% 后来他的GPU利用率变成
LSTM-Transformer的训练速度相比传统LSTM和Transformer有何提升？
最新发布
06-03
相比传统的LSTM和Transformer模型，LSTM-Transformer在训练速度上有一定的提升。 传统的LSTM模型具有较强的时序建模能力，但在处理长序列时存在梯度消失或爆炸的问题，导致训练速度较慢。而Transformer模型采用了自...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值