RNN演进之路-RNN-LSTM-GRU-DT(DL4MTGRULAUTransiLNCell)

最新推荐文章于 2023-12-01 15:58:51 发布
最新推荐文章于 2023-12-01 15:58:51 发布
阅读量831 收藏
点赞数
分类专栏： 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzxsjdt/article/details/102538911
版权

本文仅对NLP应用广泛的RNN结构进行简单汇总比较：好看的图是copy的网上现有最形象的，不好看的是我自己画的。

 

一、RNN标准版---传统RNN

可以有效处理序列的深度学习。双向RNN未画出，方向相反，用于上下文参考。

 

二、LSTM长短时记忆与GRU----现代RNN

有效解决RNN中长序列的梯度消失和梯度爆炸问题，解决方式是改变传统RNN时刻间的连乘改为叠加的形式。

GRU相比LSTM少了一个门，参数量减少。

双向LSTM和双向GRU未画出，方向相反，用于上下文参考。

 

 

四、DT（DL4MTGRU）---2019-06版RNN

DT网络包含两部分，拥有更多门的GRU CELL和可以循环多次的new state提取部分。

GRU CELL使用了更多的门，加强了上一时刻状态与当前时刻之间的控制。

new state部分，可以循环多次来提取有效特征。

双向DT未画出，方向相反，用于上下文参考。

DT 其中的 GRU CELL中的三个sigmoid门的作用分别是：

1、r 类似LSTM的遗忘门，保留上一时刻需要保留的信息

2、r2 类似LSTM输入门，但这里的输入不包括上一时刻的状态，是真正的本次时刻的输入

3、u 类似LSTM的输出门，把输入门与遗忘门的数据进行了叠加

4、-1 过滤掉上一时刻中与本次输出门重复的信息

 

参考资料：

RNN-LSTM-GRU-最小GRU：   https://www.jianshu.com/p/166db8ab3cef

难以置信!LSTM和GRU的解析从未如此清晰： https://blog.csdn.net/dqcfkyqdxym3f8rb0/article/details/82922386

GCDT原文：https://arxiv.org/abs/1906.02437

wzxsjdt
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Bidirectional-stacked-RNN-with-LSTM-GRU
03-04
具有LSTM GRU的双向堆叠RNN 在这里，我为Twitter情感分析数据集使用带有LSTM / GRU单元的双向堆叠RNN开发了情感分类器，。 为了开发模型，我尝试了堆叠RNN的数量，隐藏层的数量，像元类型，跳过连接，梯度修剪和丢失概率。 我使用亚当优化器和二进制交叉熵损失函数，并使用S形函数将预测对数转换为概率。 对于最佳模型，我发现： 计算每个类别的精度，召回率和F1。 绘制损耗与历时曲线和ROC曲线 我的解决方案是在PyTorch中实现的，并且该报告有据可查。 我还有一个笔记本，上面有数据的预处理。 注意：我还利用预先训练的单词嵌入GloVe作为初始嵌入来输入模型。
【AI周报】科学家在类脑芯片上实现类似LSTM的功能，能效高1000倍；Meta加速ViT训练流程，吞吐量4倍提升
m0_60673947的博客
05-28 194
01 # 行业大事件 Nature子刊：科学家在类脑芯片上实现类似LSTM的功能，能效高1000倍 格拉茨技术大学的计算机科学家在 Nature 子刊上发表的一篇论文表明，他们找到了一种在神经形态芯片上模拟 LSTM 的方案，可以让类脑神经形态芯片上的 AI 算法能效提高约 1000 倍。 随着智能手机的普及，手机游戏也越来越受欢迎。但视频游戏等程序会大量耗电耗能。与 GPU 等标准硬件相比，基于 spike 的神经形态芯片有望实现更节能的深度神经网络（DNN）。但这需要我们理解...
深度学习今年来经典模型优缺点总结，包括卷积、循环卷积、Transformer、LSTM、GANs等
JJxiao520的博客
12-01 1378
最后，再介绍一种人工神经网络：前馈神经网络（Feedforward Neural Networks，FNNs）。将一种语言的文本翻译为另一种语言。适用场景：用于序列数据处理，与 LSTM 类似。将图像分类为不同的物体或场景。案例：股票价格预测。适用场景：用于自然语言处理、机器翻译等。将口头语言转换为文本。适用场景：用于生成图像、音频、文本等。将图像分为不同的类别。适用场景：序列建模、自然语言处理等。适用场景：处理长序列和时间序列数据。适用场景：图像分类、目标检测等。适用场景：用于分类和回归任务。
RNN、CNN、RNN、LSTM、CTC算法原理，pytorch实现LSTM算法
weixin_42010722的博客
07-01 2052
1. CNN算法 CNN算法原理 2. RNN算法 最早CNN算法和普通算法类似，都是从由一个输入得到另一个输出，不同的输入之间没有联系，无法实现一些场景（例如：对电影每个时间点的时间类型进行分类，因为时间是连续的，每一个时间点都是由前面的时间点影响的，也就是说输入之间有关联） 2.1 典型的序列数据 文章里文字内容 语音里音频内容 股票市场中价格走势 2.2 基本原理 RNN 跟传统神经网络最大的区别在于每次都会将前一次的输出结果，带到下一次的隐藏层中，一起训练。如下图所示 在上面的示例图中 神经网
几种常见的循环神经网络结构RNN、LSTM、GRU
zfjBIT的专栏
01-26 8322
几种常见的循环神经网络结构RNN、LSTM、GRU 一、循环神经网络(RNN) 传统文本处理任务的方法中一般将TF-IDF向量作为特征输入。显而易见，这样的表示实际上丢失了输入的文本序列中每个单词的顺序。在神经网络的建模过程中，一般的前馈神经网络，如卷积神经网络，通常接受一个定长的向量作为输入。卷积神经网络对文本数据建模时，输入变长的字符串或者单词串，然后通过滑动窗口加池化的方式将原先的输入转...
MTRNN:时标递归神经网络的实现
04-28
地铁网 时标递归神经网络的实现 正在建设中... ## MNIST示例data.py来自 对于RNN实现，每个图像按行像素进行切片。 因此，RNN从上到下预测行像素组。
深度学习-算法-LSTM、GRU
我要做全栈
09-13 850
LSTM简介 LSTM，Long-Short Term Memory RNN，长短期记忆模型循环神经网络 LSTM是RNN的一个变种，为了解决RNN模型梯度弥散的问题而提出的； 在传统的RNN中，训练算法使用的是BPTT，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，所以需要一个存储单元来存储记忆，因此LSTM模型被提出； LSTM和RNN的区别 RNN与LSTM最大的区别在于LSTM中最顶层多了一条名为“cell state”的信息传送带，其实
GRU(门控循环单元)，易懂。
Michale_L的博客
02-03 5万+
一、什么是GRU？ GRU（Gate Recurrent Unit）是循环神经网络（RNN）的一种，可以解决RNN中不能长期记忆和反向传播中的梯度等问题，与LSTM的作用类似，不过比LSTM简单，容易进行训练。 二、GRU详解 GRU模型中有两个门，重置门和更新门，具体作用后面展开说。 先来看一张GRU的图，看不懂没关系，后面慢慢展开说。 符号说明： :当前时刻输入信息 :上一时刻的隐藏状态，这个隐藏状态包含了之前节点的相关信息。 :传递到下一时刻的隐藏状态 :候选隐藏状态 :重置门
GRU简介
热门推荐
筱筱思的博客
04-28 6万+
循环神经网络的隐含层变量梯度可能出现衰减或爆炸，虽然梯度裁剪可以应对梯度爆炸，但无法解决梯度衰减的问题。 门控循环神经网络（gated recurrent neural network）是为了更好地捕捉时序数据中间隔较大的依赖关系,门控循环单元（gated recurrent unit, GRU)是一种常用的门控循环神经网络。 GRU（Gate Recurrent Unit）是循环神经网络的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而
【神经网络】GRU
Dong_ZH的博客
02-27 1万+
GRU（Gate Recurrent Unit）门控循环单元，是循环神经网络（RNN）的变种种，与LSTM类似通过门控单元解决RNN中不能长期记忆和反向传播中的梯度等问题。与LSTM相比，GRU内部的网络架构较为简单。
rnnoise.zip_LSTM-GRU_RNN 降噪_lstm代码_rnn音频降噪_音频降噪
07-15
改代码为音频降噪功能，是基于RNN的音频降噪算法。其中采用的是 GRU/LSTM 模型，支持wav格式。
rnn-tutorial-gru-lstm-master分词
03-12
人工智能深度学习，中文分词代码，准确无误。rnn-tutorial-gru-lstm-master分词
一网打尽神经序列模型之RNN及其变种LSTM、GRU,rnn神经网络模型代码,Python
09-10
一网打尽神经序列模型之RNN及其变种LSTM、GRU
单列数据rnn-lstm-gru预测.ipynb
最新发布
02-22
单列数据rnn-lstm-gru预测.ipynb
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
Python碳价格时间序列预测（RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn ）
09-22
本文采用欧盟碳排放交易体系下的欧盟碳排放配额(EUA)数据。 实验采用在2013年4月15日至2020年3月30日期间使用的相同大小的数据集，包括1797个样本。 前80% 的数据被选为训练集...RNN、LSTM、GRU、CNN-LSTM、LSTM-Attn
RNN-LSTM-GRU单变量负荷预测.zip
08-25
基于Python的项目
rnn笔记本：RNN（SimpleRNN，LSTM，GRU）Tensorflow2.0和Keras笔记本（车间材料）
02-04
RNN（SimpleRNN，LSTM，GRU）Tensorflow2.0和Keras笔记本（车间材料） 滑梯 视频 某些部分是可以自由地从我们的也可以购买一个完整的软件包，包括从波斯32个视频 笔记本电脑 RNN简介： 我们如何推断不同的序列长度...
see-rnn:Keras和TensorFlow中的RNN和常规权重，渐变和激活可视化
05-04
见RNN Keras和TensorFlow（LSTM，GRU，SimpleRNN，CuDNN等）中的RNN权重，渐变和激活可视化特征权重，渐变，激活可视化内核视觉效果：明确显示内核，循环内核和偏见闸门视觉：闸门架构（LSTM，GRU）中的闸门已明确...
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值