从RNN到LSTM再到GRU总结

最新推荐文章于 2024-06-18 17:34:16 发布
最新推荐文章于 2024-06-18 17:34:16 发布
阅读量244 收藏
点赞数
文章标签： rnn lstm gru
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tiger00O/article/details/120087280
版权

参考文章：从RNN到LSTM再到GRU

GNN

\LARGE x_{t} 是一个输入的向量（假设是一个n维向量）

\LARGE h_{t-1} 表示前一个时刻的隐藏状态，初始为0向量。

\LARGE o_{t} 是当前时刻的输出。
​    
\LARGE h_{t} 是当前时刻的隐藏状态。

隐藏状态更新:

\LARGE h_t=tanh(W_{hh}h_{t-1}+W_{hx}+b_h)

 理解：这里我们假设x的维度是10000维，其中我们的第一层隐藏神经元个数为100个，进行降维处理，可以将神经网络的权重理解为矩阵之间的乘法。最后加上激活函数。

 input：10000 

 output：100

 

 我们这里将\LARGE x_{t} ，\LARGE h_{t-1} 共同作为输入，input=10100维

 

 

        RNN虽好，但是存在梯度消失和梯度爆炸的问题，导致一旦序列过长，在反向传播时RNN就会出问题。

        其中梯度爆炸问题，有一个解决方法是梯度修剪(gradient clipping)，就是设定一个阈值，当梯度向量超过某个阈值时，将它减少到阈值。而梯度消失问题更难解决。因此有人提出了GRU来解决这个问题。

 

LSTM

        LSTM是RNN的变种，是为了解决RNN存在的长期依赖问题而专门设计出来的。所谓长期依赖问题是，后面的单词在很长的时间序列后还依赖前面的单词，但由于梯度消失问题，导致前面的单词无法影响到后面的单词。

在这里插入图片描述

 

GRU
GRU 旨在解决RNN 中出现的梯度消失问题。GRU也可以被视为LSTM的变体，启发于LSTM，但更易于实现和计算，且在某些情况能产生同样出色的结果。

GRU把遗忘门和输入门合并成为一个“更新门”，把单元状态和隐藏状态合并，还有其他变化。这样做使得 GRU比标准的LSTM模型更简单
 

在这里插入图片描述

 

 

tiger00O
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图神经网络 | Python实现LSTM-GNN时间序列预测
前程算法屋的博客
11-20 4022
图神经网络 | Python实现LSTM-GNN时间序列预测
图神经网络 | Python实现基于时空图卷积GNN + LSTM 模型预测（多变量方法）
前程算法屋的博客
10-29 3605
图神经网络 | Python实现基于时空图卷积 + LSTM 模型预测（多变量方法）
PyTorch搭建GNN-LSTM和LSTM-GNN模型实现多变量输入多变量输出时间序列预测
KI的博客
01-09 1万+
PyTorch搭建GNN-LSTM和LSTM-GNN模型实现多变量输入多变量输出时间序列预测
【机器学习300问】123、什么是GRU？GRU网络的基本结构是怎样的？
qq_39780701的博客
06-18 1303
什么是GRU？GRU网络的基本结构？GRU为何能缓解梯度消失？举个例子说明GRU的工作原理。
五、CNN-LSTM数据驱动模型
记录自己的成长
03-02 1万+
CNN-LSTM数据驱动模型 6.1 基本原理 深度学习是机器学习前沿且热门的理论，而其中的两大框架卷积神经网络（CNN）以及长短期记忆网络（LSTM）是深度学习的代表，CNN能过够通过使用卷积核从样本数据中提取出其潜在的特征，而长短期记忆网络LSTM能够捕捉到长期的成分。近年来两者的结合成为研究的热点。卷积神经网络由卷积层和池化层交替叠加而成，在每个卷积层与池化层之间都有relu激活函数作用来加速模型的收敛，在模型中数据经过卷积神经网络的处理，所有特征融合后得到卷积神经网络的特征描述，此时传递数据给L
基于LSTM与GNN融合的COVID-19预测模型
zzh1464501547的博客
03-03 1737
整合lstm和GNN进行COVID-19预测 摘要： COVID-19的传播与图神经网络(gnn)的兴起同时发生，有几项研究建议将两者结合，能更好地预测大流行的演变。类似应用的模型还包括长期短期记忆(LSTM)网络，这是时间序列预测的常用工具。在本工作中，我们通过在LSTM的控制门结构中实现GNN网络，利用空间信息来进一步研究这两种方法的集成。此外，我们引入了一种跳跃连接（skip connection），它被证明是联合捕获数据中的空间和时间模式的关键。我们根据37个欧洲国家过去472天的数据验证了
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
python手动实现RNN、LSTM、GRU.zip
09-14
总的来说，这个资源包提供了一个全面的学习路径，从理论到实践，帮助你深入理解和应用RNN、LSTM和GRU。通过手动实现和框架实现的对比，你将能够更好地掌握这些模型的核心思想，提升你的深度学习技能。
分别使用RNN_LSTM_GRU三种神经网络进行文本分类
11-19
在自然语言处理（NLP）...通过阅读和理解这些代码，你可以了解到如何将RNN、LSTM和GRU应用到实际文本分类任务中，包括数据预处理、模型构建、训练过程以及性能评估。这将有助于提升你在深度学习和NLP领域的实践能力。
Recurrent-Neural-Network-with-Pytorch:有几种模型，例如RNN，LSTM，GRU和双向LSTM GRU。 我的一个项目与使用LSTM，GRU等从每日天气温度预测数据获得的时间序列数据有关。
04-13
有几种模型，例如RNN，LSTM，GRU和双向LSTM / GRU。 我的一个项目与使用LSTM，GRU等从每日天气温度预测数据获得的时间序列数据有关。 数据集下载链接 减少上传文件的容量。 这是所需数据集的下载链接：
ny-stock-price-prediction-rnn-lstm-gru.rar
最新发布
06-20
描述中提到的“kaggle RNN LSTM GRU 股票预测代码”意味着这个项目可能是从Kaggle竞赛或者资源平台获取的，Kaggle是一个全球知名的机器学习和数据科学竞赛平台，开发者和数据科学家经常在此分享他们的代码和解决方案...
CNN已老，GNN来了！清华大学孙茂松组一文综述GNN
数据派THU
01-06 7833
来源：新智元本文约3500字，建议阅读7分钟。本文将带你了解UCI数据库的Python API，通过实际案例拆解并讲解代码。[ 导读 ]深度学习无法进行因果推理，而图模型...
GCN-LSTM预测道路车辆速度英文 Forecasting using spatio-temporal data with combined Graph Convolution LSTM model
Amzmks的博客
01-06 1671
GCN：又称GNN，图神经网络 LSTM：长短时记忆网络。-LSTM模型预测道路交通车辆速度。
TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
KI的博客
08-30 1万+
TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
lstm原始论文_论文盘点：基于图卷积GNN的多目标跟踪算法解析
weixin_39793638的博客
12-04 726
©PaperWeekly 原创 ·作者｜黄飘学校｜华中科技大学硕士研究方向｜多目标跟踪随着这两年 GNN 的发展，其对于关系的建模特性也被引入了多目标跟踪领域，这次我通过对这两年基于 GNN 的 MOT 算法的介绍来分析其特点。相关 MOT 和数据关联的基础知识可以去我的专栏查看。EDA_GNN论文标题： Graph Neural Based End-to-end Data Assoc...
图神经网络（GNN）模型原理及应用综述
热门推荐
Running Snail
04-16 10万+
从数据结构到算法：图网络方法初探 论文《Graph Neural Networks: A Review of Methods and Applications》 木牛马论文阅读笔记https://www.cnblogs.com/ydcode/p/11050417.html https://zhuanlan.zhihu.com/p/102994627?utm_source=wechat_session 文章目录图神经网络（Graph Neural Networks，GNN）1. GNN起源1.1 动..
基于注意力机制的CNN-LSTM模型及其应用（含软硬注意力区别）
pengxiang1998的博客
10-05 2万+
处理原始数据集，再将其按 6∶2∶2 的比例划分。数据输入时进行归一化，在加速模型收敛的同时，一定程度提升模型精度；输出时进行反归一化。
TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）
KI的博客
08-20 3719
TensorFlow搭建双向LSTM实现时间序列预测（负荷预测）
​KDD 2020 开源论文 | 图神经网络多变量时序预测
Paper weekly
11-02 6907
©PaperWeekly 原创 ·作者｜马敏博学校｜西南交通大学硕士生研究方向｜命名实体识别本次分享的论文是 KDD 2020 的一篇工作，出发点是为了更好地建模多变量时间序列数据中成...
深度学习序列模型：RNN, LSTM, GRU
RNN有多种不同的结构，例如基本的RNN、长短时记忆网络（LSTM）和门控循环单元（GRU）。这些变体旨在解决传统RNN中的梯度消失问题，使得网络能够更好地学习和存储长期依赖。 1.8 循环神经网络的梯度消失（Vanishing ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值