RNN及其变体（LSTM、GRU）的介绍

已于 2023-03-27 09:45:45 修改
阅读量2.8k 收藏 10
点赞数 1
分类专栏： PaperNote 文章标签： 循环神经网络 门控循环单元 RNN LSTM gru
于 2022-03-25 11:35:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35734025/article/details/123727668
版权

先打个岔，区分一下recurrent neural network循环神经网络和recursive neural network递归神经网络。

recurrent: 时间维度的展开，代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上，在神经网络结构上表现为后面的神经网络的隐藏层的输入是前面的神经网络的隐藏层的输出；

recursive: 空间维度的展开，是一个树结构，比如nlp里某句话，用recurrent neural network来建模的话就是假设句子后面的词的信息和前面的词有关，而用recursiveneural network来建模的话，就是假设句子是一个树状结构，由几个部分(主语，谓语，宾语）组成，而每个部分又可以在分成几个小部分，即某一部分的信息由它的子树的信息组合而来，整句话的信息由组成这句话的几个部分组合而来。

再扯一个概念，隐形马尔可夫模型，英文是 Hidden Markov Models，简称 HMM，也用于处理序列数据，但是序列能力较弱。

HMM模型有一个会随时间改变的隐藏的状态（特征），在持续地影响它的外在表现（输出）。该模型有几个比较重要的概念：可见状态链；隐含状态链；HMM中说到的马尔可夫链其实是指隐含状态链，因为隐含状态之间存在转换概率（transition probability）；可见状态之间没有转换概率，但是隐含状态和可见状态之间有一个概率叫做输出概率（emission probability）；。HMM是马尔可夫模型，就一定存在马尔可夫链，该马尔可夫链服从马尔可夫性质：即无记忆性。也就是说，这一时刻的状态，受且只受前一时刻的影响，而不受更往前时刻的状态的影响。

1.RNN循环神经网络

循环神经网络（Recurrent Neural Network，RNN）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

 这里h'的生成均来自同一个映射f()；而输出y的映射根据具体模型而定。

2.LSTM长短期记忆

长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

LSTM结构（图右）和普通RNN的主要输入输出区别如下所示。

下面具体对LSTM的内部结构来进行剖析。

 下面开始进一步介绍这四个状态在LSTM内部的使用。（敲黑板）

以上，就是LSTM的内部结构。通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息；而不像普通的RNN那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说，尤其好用。

但也因为引入了很多内容，导致参数变多，也使得训练难度加大了很多。因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。

 3.GRU门控循环单元

GRU（Gate Recurrent Unit）是循环神经网络RNN的一种。和LSTM一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。

GRU和LSTM在很多情况下实际表现上相差无几，那么为什么我们要使用GRU（2014年提出）而不是相对经受了更多考验的LSTM（1997提出）呢。

下图引用论文中的一段话来说明GRU的优势所在。

R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS（2017）

相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。

最后介绍GRU最关键的一个步骤，我们可以称之为”更新记忆“阶段。

在这个阶段，我们同时进行了遗忘了记忆两个步骤。我们使用了先前得到的更新门控 z（update gate）。

GRU是在2014年提出来的，而LSTM是1997年。他们的提出都是为了解决相似的问题，那么GRU难免会参考LSTM的内部结构。那么他们之间的关系大概是怎么样的呢？这里简单介绍一下。 

GRU输入输出的结构与普通的RNN相似，其中的内部思想与LSTM相似。

与LSTM相比，GRU内部少了一个”门控“，参数比LSTM少，但是却也能够达到与LSTM相当的功能。考虑到硬件的计算能力和时间成本，因而很多时候我们也就会选择更加”实用“的GRU啦。

参考：

[1] 如何有效的区分和理解RNN循环神经网络与递归神经网络？ - 知乎

[2]人人都能看懂的LSTM - 知乎

[3]台大李宏毅教授《机器学习》

[4]如何用简单易懂的例子解释隐马尔可夫模型？ - 知乎

[5]一文搞懂HMM（隐马尔可夫模型） - skyme - 博客园

[6]人人都能看懂的GRU - 知乎

Yanir7
关注
专栏目录
自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
WANGYANG的博客
04-14 1875
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
【深度学习】RNN、LSTM、GRU 网络使用教程 (二)
风口IT猪的成长录
10-12 1051
RNN、LSTM、GRU 网络使用教程二前言1. 数据处理2. 定义网络结构3. 定义损失函数4. 定义优化器5. 模型训练6. 验证模型效果7. LSTM ---> GRU 前言 在 RNN实战-姓名分类 中介绍了最基础 RNN 网络结构的搭建，个人感觉对 RNN 网络结构的理解与使用远远不够，缺乏普遍性。 本文将对 pytorch 中的 RNN 网络结构的使用进行介绍，力求在代码逻辑层面达到普遍性。 本文暂不涉及网络结构的数学理论基础。 【深度学习】RNN、LSTM、GRU 网络使用教程 (一)
循环神经网络RNN及其变体
u011489887的专栏
10-21 324
RNN 经典的RNN网络如图所示，输入和输出是相等的。 Sequence to Sequence 在Seq2Seq结构中，编码器Encoder把所有的输入序列都编码成一个统一的语义向量Context，然后再由解码器Decoder解码。在解码器Decoder解码的过程中，不断地将前一个时刻 [公式] 的输出作为后一个时刻 [公式] 的输入，循环解码，直到输出停止符为止。 Attention 在Seq2Seq结构中，encoder把所有的输入序列都编码成一个统一的语义向量Context，然后再由Decod
从RNN讲起(RNN、LSTM、GRU、BiGRU)——序列数据处理网络
最新发布
薛定谔的猫的博客
10-12 1148
循环神经网络是一类用于处理序列数据的神经网络，它一般以序列数据作为输入，通过网络内部的结构设计有效地捕捉序列之间的关系，以序列的形式输出。与传统的前馈神经网络不同，RNN具有"记忆"能力，通过在网络中引入循环连接，使得其可以利用先前的输入信息来影响当前的输出。这使得RNN非常适合处理具有时间依赖性或顺序性的任务。长短期记忆网络（LSTM, Long Short-Term Memory）是一种特殊的循环神经网络RNN，设计用来解决传统RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。
RNN结构及其变体
weixin_38621449的博客
04-21 2131
RNN，LSTM,GRU的结构解析RNN结构及代码什么是RNN模型LSTM结构及代码GRU结构及代码合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图...
深入理解循环神经网络（RNN）及其变体
cooldream2009的博客
01-08 1863
在当今信息时代，序列数据处理是机器学习和人工智能领域中至关重要的任务之一。循环神经网络（RNN）是一类强大的神经网络架构，能够处理和理解序列数据，从而在自然语言处理、时间序列分析、图像描述等多个领域展现出了广泛的应用。
RNN之GRU
风间琉璃的博客
02-15 1682
LSTM 具有更长的记忆能力， 在大部分序列任务上面都取得了比基础的 RNN 模型更好的性能表现，LSTM 不容易出现梯度弥散现象。 但是 LSTM 结构相对较复杂， 计算代价较高，模型参数量较大。 一、GRU原理 研究发现， 遗忘门是 LSTM 中最重要的门控， 甚至发现只有遗忘门的网络在多个基准数据集上面优于标准 LSTM 网络。 在简化版 LSTM中，门控循环网络(Gated Recurrent Unit，简称 GRU)是应用最广泛的 RNN 变种之一。 GRU把内部状态向量和输出向量合并，统一.
深度学习TF—10.循环神经网络RNN及其变体LSTM、GRU实战
柳杰的博客
02-28 734
文章目录一、时间序列数据的表示方法二、Embedding层三、单层RNN与多层RNN1.单层RNN2.多层RNN四、RNN案例—情感分类实战1.单层RNN2.多层RNN3.SimpleRNN—高级封装五、LSTM案例—情感分类实战1.LSTMCell2.LSTM—高级封装六、GRU案例—情感分类实战1.GRUCell2.GRU 一、时间序列数据的表示方法     循环神经网络RNN是对具有时间先后顺序的数据做处理的。     如果数据类型为结构化数据时，可以由[????, ????, ????]的张量才能表
一网打尽神经序列模型之RNN及其变种LSTM、GRU,rnn神经网络模型代码,Python源码.zip
10-15
本资料包主要涵盖了循环神经网络（RNN）及其两种变体：长短期记忆网络（LSTM）和门控循环单元（GRU）。这些模型都是为了解决传统RNN在处理长期依赖问题时的梯度消失或爆炸问题而提出的。 **循环神经网络（RNN）** ...
RNN以及变体LSTM,GRU，以及Tensorflow代码
知吾朱期应庆的博客
12-08 3139
文章目录1.RNN1.1 单个RNN单元每个时间步隐藏层的计算：1.2 多个RNN单元的前向传播1.3 RNN的反向传播（单个RNN单元）1.4 RNN存在的问题1：无法运用未来的信息1.4.1 RNN的改进：双向RNN1.5 RNN存在的问题2：梯度爆炸和梯度消失2 RNN的变体2.1 LSTM (Long Short-Term Memory)长短时记忆网络2.2 BI-LSTM2.3 GR...
RNN最全变体形式详解
Jeremy_lf的博客
03-11 4000
参考：https://blog.csdn.net/bestrivern/article/details/90723524 一.概述 RNN用于处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独...
RNN LSTM GRU介绍
舟
01-12 1121
RNN 在实际应用中，我们会遇到很多序列形的数据 为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。 每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点 LSTM 长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程...
[模型基础] RNN及变体LSTM、GRU
qq_31225201的博客
04-02 955
1. RNN RNN被称为循环，因为它们对序列中的每个元素执行相同的任务，并且输出元素依赖于以前的元素或状态，RNN的输入和输出是可变的，并且在不停循环同样操作。循环公式有助于处理序列数据，因此RNN常用于处理序列数据。 上述W权重共享，L是每一层/时间步的损失L，将所有损失相加得到整体损失。由于共享权重。每一步的误差梯度也取决于前一步的损失。上述例子中，为了计算第4步的梯度，需要将前3步的损失和第4步的损失相加。这称为Time-BPPT的反向传播。 计算梯度是计算误差的过程，将loss值-梯度*学习率
RNN和LSTM及变体介绍
qq_21210467的博客
08-06 940
这首我看过非常详细和好理解的博文：https://blog.csdn.net/zhaojc1995/article/details/80572098 还有这一篇： http://ai.51cto.com/art/201711/559441.htm 这一篇：https://blog.csdn.net/weiwei9363/article/details/78902455 对于input_s...
大话循环神经网络RNN、LSTM、GRU
全栈O-Jay的博客
04-02 3306
一文极速了解循环神经网络RNN、LSTM、GRU！
循环神经网络RNN及其变体LSTM、GRU
MusicDancing的博客
11-29 2709
1122
RNN 神经网络及其变体网络——实验楼学习笔记
m0_37442062的博客
10-30 256
def sigmoid(x): y = 1/(1+np.exp(-x)) return y def dersigmoid(x): y=x*(1-x) return y step = 0.1 ipnumber = 2 hdnumber = 32 opnumber = 2 neu_i2h = 2*np...
从RNN、LSTM到GRU的介绍
艰难困苦，玉汝于成。
06-15 926
循环神经网络（RNN），长短期记忆网络（LSTM），门限循环单元（GRU）。RNN原理：神经网络模块A，读取到某个输入x,并且输出一个值h，循环可以使得信息可以从当前一步传到下一步。RNN本质上是与序列和列表相关的。展开来看，RNN可以被看做是同一神经网络的多次复制，每一个神经网络模块都会把信息传递给下一个。展开上图的循环可以得到： 注意：每一个神经网络模块所用的权重参数都是共享的，即权重共享。 RNN的缺点： 1、受到短时记忆的影响，如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值