RNN、LSTM、BLSTM、convLSTM原理概括

最新推荐文章于 2024-07-28 23:38:39 发布
最新推荐文章于 2024-07-28 23:38:39 发布
阅读量1.1w 收藏 84
点赞数 13
分类专栏： 深度学习 文章标签： 深度学习 神经网络 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41991290/article/details/107339724
版权

注：本文为个人学习总结，摘录原文在参考资料中，如需详细资料，请阅读原文。

循环神经网络及变型总结

一、RNN（循环神经网络）

循环神经网络的主要用途是处理和预测序列形式的数据。在网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息承上启下，影响后面结点的输出,其典型的结构如下图，可以看出循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输入还包括上一隐藏层的输出。
循环神经网络可以画成这个样子：

在这里插入图片描述

我的理解RNN网络训练方式类似于之前学习CNN（卷积神经网络）。
为什么这么说那？序列x0，x1…xt跟CNN中一个一个的迭代输入数据很类似有木有。同样是放进一个数据去训练一遍，然后再放进一个数据。你品！

而图中循环网络结构A好比CNN中的权值共享，不断输入数据进入网络来更新A，这不就是更新权重吗。你再品！

同时RNN中每个cell都会有相应的输出h，这个类似于CNN中每训练一次网络都会输出预测标签或者概率之类的。你细品！
至于输出的啥，你自己研究吧。当然也可以设计每个cell不输出，只需将参数return_sequences设置为Flase即可。

将一个单元拿出来，就是下图这样：

在这里插入图片描述
不多B*了，直接上公式：
在这里插入图片描述
对照公式看，采用数形结合的方法，很容易就明白RNN是实现原理了。如果想知道具体的矩阵计算公式，请看文章末第一个链接。

这波看明白了吗？看明白的扣1，没看明白的扣。。。。。。。。。。。。。。。。。眼珠子。

二、LSTM（长短时记忆网络）

传统的RNN会经常存在梯度消失，或者是梯度爆炸的问题，导致无法实现长序列的记忆。因为题都消失了，它认为所有数据结果都是一样的或者变化非常大，无法收敛。这些问题才是最棘手的，随便你怎么改，就是不行，真令人头大呀。因此，经过多年的探讨，Hochreiter和Schmidhuber两位科学家发明出长短时记忆网络。

LSTM再RNN基础上的变形，改变了内部计算结构网络，同时增加了记忆单元c，用c来存储之前序列的有用内容，应用到之后的序列中，解决了循环神经网络无法实现长序列的记忆问题。下图就是LSTM了，是不是有点迷糊。迷糊就对了，不过不要担心，更迷糊的还在后面。

在这里插入图片描述图中三个特殊符号表示三个门，下面解释一下这三个门
下面東分別解释-下这三个门 。理解这三个门的作用也是理解LSTM的关键。

1遗忘门ft，作用于上一个单元下来的记忆细胞状态c-1，目的是选择性遗忘忘记忆细胞中的信息，就是为了选择有用的，丢弃没用的。

2输入门也是记忆细胞状态目的是将新的信息选择性的记录到记忆细胞中，传向下一级。

3输出门是作用于输入和隐层输出。经过输出门后，使得最后输出即包括细胞状态又包括输入,将其结果传到下一个层。

通过这三个门，我们可以看到LSTM能自动决定些信息被遗忘,哪些信息被保留,通过LSTM的前向传我们可以看到一个记忆细胞可以很容易传到很远距离来影响输出。所以LSTM可以解决远距离的信息的学习。

来吧，展公式！对照公式查看各门的输入输出效果更好：
在这里插入图片描述在这里插入图片描述在这里插入图片描述
在这里插入图片描述

网络结构内的计算公式已经列出了，具体的矩阵计算，详见参考资料2。

总结一下LSTM参数是如何计算的：
因为在网络中计算方式是矩阵的形式假设记忆单元c输入的变量为[2,4]（2表示步长，4表示维度），此时输入序列数据为[2，3]。在LSTM网络结构中将其拼接，那么整个输入的维度便是[2,7]。
如果我们得到想要的输出形状的矩阵，也就是[2,4]的，那么有矩阵乘法可知[2,7][7,4]=[2,4]。因此，一个公式需要74=28个变量，网络中有4个，则需要428=112个变量，另外再加上44个偏置，一共是128个变量。

三、GRU(Gated Recurrent Unit)

GRU是LSTM的一种变体，他相对于LSTM来说更加简单，但是实现的效果是一样的，所以现在GRU的使用也变得越来越流行。

在这里插入图片描述

四、BLSTM（双向LSTM）

BLSTM是LSTM的另一种变型他的来源是因为，LSTM只能实现单向的传递。当我们语句是承前启后的情况时，自然能完成。但是当语句顺序倒过来，关键次在后面了，LSTM就无能为力了。因此有人提出了BLSTM双向网络，网络结构如图所示：
在这里插入图片描述
双向神经网络的单元计算与单向的是相通的。但是要注意双向神经网络隐藏层要保存两个值，一个A参与正向计算，另一个值A’参与反向计算。最终的输出值取决于和。

五、ConvLSTM（卷积LSTM）

LSTM擅长时序数据的处理，但是如果时序数据是图像等三维图形来讲，因为有着丰富的空间信息并且每一个点和周围是有很强的相关性的，普通的LSTM很难刻画这种空间特征,于是在LSTM的基础上加上卷积操作捕捉空间特征，对于图像的特征提取会更加有效。

在这里插入图片描述

六、总结

本文为我在学习RNN时，对RNN的整理，如有错误请指正！

参考资料：

https://zybuluo.com/hanbingtao/note/541458
https://www.jianshu.com/p/3edff278f021
https://cloud.tencent.com/developer/article/1471277

重启试试！
关注
  • 13
    点赞
  • 踩
  • 84
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RNN与LSTM原理详解
小明同学
06-14 1565
1. 单个RNN网络结构 输出层与普通的网络相比，多了一个回归层，将之前的信息保留进行前向的传播。 xt表示第t,t=1,2,3...步(step)的输入 st为隐藏层的第t步的状态，它是网络的记忆单元。 st=f(U*xt+W*st−1)，其中f一般是非线性的激活函数 ot是第t步的输出，概率表示softmax(V*st) 权值更新： 对所存储的网络都有影响。 RNN...
rnn，lstm，convlstm的输入输出有啥不同
辛宣的博客
04-30 148
用于土壤湿度预测的，rnn，lstm，convlstm的输入输出有啥不同，做一个表格处理 下面是一个简单的表格，列出了在用于土壤湿度预测时，RNN、LSTM 和 ConvLSTM 的输入和输出的不同之处： 模型 输入 输出 RNN \((X_{1}, X_{2}, ..., X_{T})\) \((y_{1}, y_{2}, ..., y_{T})\) LSTM \((X_{1...
基于blstm的维吾尔语文本情感分析
03-06
基于blstm的维吾尔语文本情感分析
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM
09-11
41Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都取得相当巨大的成功，并得到了广泛的使用。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。
小白也能读懂的ConvLSTM！(开源pytorch代码)
最新发布
m0_59257547的博客
07-28 1803
别再用CNN-LSTM了！ConvLSTM（卷积长短期记忆网络）是一种结合了卷积神经网络（CNN）和长短期记忆网络（LSTM）优势的深度学习模型。它主要用于处理时空数据，特别适用于需要考虑空间特征和时间依赖关系的任务，如气象预测、视频分析、交通流量预测等。
PyTorch-09 循环神经网络RNN&LSTM (时间序列表示、RNN循环神经网络、RNN Layer使用、时间序列预测案例、RNN训练难题、解决梯度离散LSTM、LSTM使用、情感分类问题实战)
m0_37755995的博客
06-13 3558
PyTorch-09 循环神经网络RNN&LSTM (时间序列表示、RNN循环神经网络、RNN Layer使用、时间序列预测案例（一层的预测点的案例）、RNN训练难题（梯度爆炸和梯度离散）和解决梯度爆炸问题grad clipping、解决梯度离散问题LSTM、LSTM使用、情感分类问题实战)...
神经网络学习日记（四）——RNN、LSTM、BiLSTM、GRU
Spark_lr的博客
01-15 1588
循环神经网络（RNN）以及它的一系列变体LSTM、BiLSTM的学习和详细介绍，以及门控神经网络（GRU）的简单介绍
RNN-＞LSTM-＞BiLSTM神经网络结构
weiyaner的博客
08-09 8938
最近在学习《自然语言处理 基于预训练模型的方法》，打打公式吧。 RNN（Recurrent Neural Network） ht=tanh(Wxhxt+bxh+Whhht−1+bhh)h_t = tanh(W^{xh}x_{t}+b^{xh}+W^{hh}h_{t-1}+b^{hh})ht​=tanh(Wxhxt​+bxh+Whhht−1​+bhh) y=softmax(Whyhn+bhy)y=softmax(W^{hy}h_{n}+b^{hy})y=softmax(Whyhn​+bhy) 如果是文本分类
RNN，LSTM和BiLSTM详解
qq_41230076的博客
04-27 5868
LSTM和BiLSTM详解
rnn.zip_LSTM MATLAB_LSTM-RNN_RNN-LSTM_rnn lstm_rnn matlab
07-15
作为刚开始研究RNN 的小白，可以看RNN和LSTM的ｍａｔｌａｂ程序，本人刚开始学习 ，把找到的资源分享给大家。
RNN 与 LSTM 的原理详解
热门推荐
HappyRocking的专栏
11-10 1万+
本文主要讲解了 RNN 和 LSTM 的结构、前馈、反馈的原理，参考了https://www.jianshu.com/p/f3bde26febed/与https://blog.csdn.net/zhaojc1995/article/details/80572098等文章，并纠正了一些公式的错误。 RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。 什么...
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM_源码.zip
09-30
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM_源码.zip
rnn lstm 分类.zip_LSTM_LSTM处理mnist数据分类_RNN_RNN分类_rnn 分类
09-15
在深度学习领域，循环神经网络（Recurrent Neural Network, RNN）和长短期记忆网络（Long Short-Term Memory, LSTM）是两种常见的序列模型，常用于处理时序数据，如文本、语音或时间序列数据。在这个"rnn lstm 分类....
RNN lstm_test.rar_LSTM_RNN python code
09-19
RNN lstm的代码 内有详细的代码注解 有问题可以随时联系
深度学习：RNN（梯度消失，梯度爆炸）-＞LSTM（实现捕捉较长的距离依赖）-＞BiLSTM
weixin_42721412的博客
12-02 538
参考 RNN： 将计算第100个输出的公式展开，发现第0个输入x0前面的权重，多达100个W在进行相乘，因此容易造成梯度消失或者梯度爆炸。越长的越明显。 LSTM： 引入门进制，来实现捕捉较长的距离依赖。 利用门，选择性的改变记忆。 遗忘门来选择多少进行遗忘，更新门来选择保留多少当前的信息。 相当于一个写笔记本的过程，笔记本容量一定，看到重要的，可能要擦掉过去的一部分来写新的。 biLSTM: ...
NLP---RNN & LSTM & GRU & BiRNN & BiLSTM
逗逗的博客
07-22 1340
1. RNNs (Recurrent Neural Networks) 参考：https://blog.csdn.net/Jerr__y/article/details/58598296 https://www.yunaitong.cn/understanding-lstm-networks.html 以上两篇均是翻译：http://colah.github.io/posts/2015-08-U...
lstm 根据前文预测词_从RNN到LSTM、BiLSTM，用最通俗的话和最生动的图为您解读！...
weixin_39786617的博客
12-17 1233
为大家介绍了一篇基于BiLSTM的反向词典系统文章，清华华为发布“万词王”反向词典系统，入选AAAI 2020。由于篇幅原因，模型的基础知识部分被我们简单地一笔带过了。今天，小编决定将整理的一些RNN、LSTM、BiLSTM模型知识尽可能地放在这篇文章里，感谢各位原作者大大的贡献。 RNNAI识别你的语音、回答你的问题、帮你翻译外语，都离不开一种特殊的循环神经网络-RNN(Recurr...
个人总结：从RNN（内含BPTT以及梯度消失/爆炸）到 LSTM（内含BiLSTM、GRU）Seq2Seq Attention
yyhhlancelot的博客
10-11 4955
前言 RNN擅长解决的问题是连续的序列，且序列的长短不一，比如基于时间的序列：一段段连续的语音等。这些序列比较长，且长度不一，比较难直接拆分成一个个独立的样本通过DNN/CNN进行训练。 而RNN由于其独有的结构和优势，能够处理DNN/CNN所不能及的问题。 RNN的5种不同架构 声明：下列图中的方块或者圆圈都代表一个向量。 one2one: 一个输入对应一个输出。 one2ma...
RNN-LSTM-BiLSTM-CRF之间的联系与区别
weixin_42631192的博客
02-14 818
参考：各个模型的区别与联系
lstm和convlstm的区别
04-23
LSTM和ConvLSTM都是基于循环神经网络（RNN）的变种，用于处理时序数据或序列数据，但是它们之间有一些区别。 LSTM（长短期记忆网络）是一种特殊的RNN，用于解决RNN中长期依赖关系的问题。LSTM通过三个门（输入门、遗忘门和输出门）来控制信息的流动，可以有效地捕获长期依赖关系。但是，LSTM不考虑输入信号的空间关系，只处理时间序列数据。 ConvLSTM是一个由卷积层和LSTM层组合而成的网络结构。它不仅考虑了时间序列关系，还考虑了空间关系，可以应用于视频分析、遥感图像分析等领域。ConvLSTM的输入和输出都是四维张量，可以用于处理类似于图像这样的多通道数据。在ConvLSTM中，对于每个时间步和每个通道，都有一个矩阵进行计算。这使得ConvLSTM可以自然地处理序列数据中的空间信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值