循环神经网络RNN及其变体LSTM、GRU

已于 2023-12-06 16:18:47 修改
阅读量1.4k 收藏 10
点赞数 13
分类专栏： 深度学习 文章标签： 深度学习 人工智能
于 2023-11-29 18:00:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MusicDancing/article/details/134695966
版权

1. 背景

RNN(Recurrent Neural Networks)

CNN利用输入中的空间几何结构信息；RNN利用输入数据的序列化特性。

2. SimpleRNN单元

        传统多层感知机网络假设所有的输入数据之间相互独立，但这对于序列化数据是不成立的。RNN单元用隐藏状态或记忆引入这种依赖，以保存当前的关键信息。任一时刻的隐藏状态值是前一时间步中隐藏状态值和当前时间步中输入值的函数 h_{t}=f(h_{t-1}, x_{t})

        在所有时间步上共享相同的权重向量(U、V、W)，极大地减少了RNN网络需要学习的参数个数(即RNN的数量不随时间步的增加而增长)。其t时间步输出 y_{t}=softmax(Vh_{t})

h_{t}=tanh(Wh_{t-1}+Ux_{t})

        选择tanh作为激活函数，是因为它的二阶导数衰减到0非常缓慢，这保持了激活函数的线性域的斜度，并帮助防止梯度消失问题。

        N元语法是基于n-1阶马尔可夫链的概率语言模型，其中n权衡了计算复杂度和模型准确性。

        隐藏变量(隐藏状态)能够捕捉截止当前时间步的序列的历史信息。

3. 梯度消失与梯度爆炸

3.1 产生原因

         时延反向传播BPTT(Backpropagation Through Time)：因为参数是所有时间步共享的，所以每个输出的梯度不只依赖当前的时间步，也依赖之前的时间步。

在正向传播中，网络在每个时间步产生预测，并将它与标签比较，来计算损失L(t)；
在反向传播中，关于参数U、V和W的损失梯度在每个时间步上计算，并用梯度之和来更新参数。

        一个隐藏状态关于它前一个隐藏状态的梯度小于1，跨多个时间步反向传播后，梯度的乘积就会变得越来越小，这就导致了梯度消失问题的出现；反之，梯度比1大很多，会导致梯度爆炸。

3.2 影响

        （1）梯度消失的影响是：相距较远的时间步上的梯度对学习过程没有任何用处，因此RNN不能进行大范围依赖的学习。梯度消失问题在传统NN上也会发生，只是对于RNN网络可见性更高，因为RNN趋于拥有更多的层(时间步)，而反向传播在这些层是必然发生的。

        （2）梯度爆炸更容易被检测到，梯度会变得非常大以至于不再是数字，训练过程也将崩溃。

3.3 解决方案

（1）缓解梯度消失问题的方法：

1. W权重向量的适当初始化；
2. 使用ReLU替代tanh层；
3. 使用非监督方法与训练网络；
4. 使用LSTM或GRU架构。

（2）梯度爆炸问题可以通过在预定义的阈值上进行梯度裁剪(clip gradient)来控制。

4. LSTM长短期记忆网络

        LSTM(long short-term memory)机构被设计成处理梯度消失问题以及更高效的学习长期依赖。LSTM时间步t隐藏状态的转换(4个层:3个门(i,f,o)+内部隐藏状态g)，如下图所示：

        遗忘门f 定义了上一时间步的记忆细胞 C_{t-1} 中的信息有多少传递到当前时间步；
        输入门i 定义了当前时间步的输入 x_{t} 通过候选记忆细胞 \tilde{C_{t}} 如何流入当前时间步的记忆细胞；
        输出门o 定义了当前状态的多少部分传递给下一层；

候选记忆细胞g或 \tilde{C_{t}}

        如果遗忘门一直近似1且输入门一直近似0，过去的记忆细胞将一直通过时间保存并传递至当前时间步，即捕捉长期依赖，从而应对梯度衰减问题。

5. GRU门控循环单元网络

        RNN在实际应用中较难捕捉时间序列中时间步距离较大的依赖关系。而GRU通过可以学习的门来控制信息的流动，从而更好的捕捉时间序列中时间步距离较大的依赖关系。GRU是LSTM的一个变体，它保留了LSTM对梯度消失问题的抗力，但它内部结构更加简单，更新隐藏状态时需要的计算也更少，因此训练的更快。GRU单元的门如下：

        重置门r(reset gate)定义了如何把新的输入和上一记忆结合起来；控制了上一时间步的隐藏状态 h_{t-1} 如何流入当前时间步的候选隐藏状态 c，而 h_{t-1}可能包含了时间序列截止上一时间步的全部历史信息。因此，重置门可以用来丢弃与预测无关的历史信息。

        更新门z(update gate)定义了保留多少部分上一记忆；它可以控制隐藏状态 h_{t} 应该如何被包含当前时间步信息的候选隐藏状态c 所更新。

1. 重置门r有助于捕捉时间序列里的短期依赖关系，它决定了上一隐藏状态有多少信息进入到候选隐藏状态；
2. 更新门z有助于捕捉时间序列里的长期依赖关系，它决定了候选隐藏状态有多少信息进入到隐藏状态。

c为候选隐藏状态；
和LSTM不同，GRU没有持久化的单元状态。

        GRU和LSTM具有同样出色的性能，GRU训练起来更快并且需要较少的数据就可以泛化，
但在数据充足的情况下，LSTM卓越的表示能力可能会产生更好的结果。

6. 双向RNN

        双向RNN是彼此互相堆叠的两个RNN，它们从相反的方向读取输入。每个时间步的输出将
基于两个RNN的隐藏状态。

        双向RNN通过增加从后往前传递信息的隐藏层来更灵活地处理这类信息(比如当我们写下一个句子时，可能会根据句子后面的词来修改句子前面的用词)。

        双向RNN在每个时间步的隐藏状态同时取决于该时间步之前和之后的子序列(包括当前时间步的输入)。

7. 有状态RNN

        RNN可以是有状态的，它能在训练中维护跨批次的状态信息，即为当前批次的训练数据计算
的状态值，可以用作下一批次训练数据的初始隐藏状态。

优点：更小的网络或更少的训练时间；
缺点：需要负责使用反映数据周期性的批大小来训练网络，并在每个训练期后重置状态。

        另外，因为数据呈现的顺序与有状态网络相关，在网络训练期间数据不能被移动。

1. 需要选择一个反映数据周期性的批大小，因为有状态RNN会将本批数据和下一批排列对齐，所以选择合适的批大小会让网络学得更快。
2. 需要手动控制模型、循环训练模型至要求的轮数。每次迭代训练模型一轮，状态信息跨批次保留。每轮训练后，模型的状态需要手动重设。

MusicDancing
关注
  • 13
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
GRU（Gated Recurrent）神经网络介绍及公式推导
07-08
GRU（Gated Recurrent Unit）神经网络是LSTM 的一个变体，GRU 在保持了LSTM 的效果同时又使结构更加简单，是一种非常流行RNN 神经网络，它只有两个门了，分别为更新门t z 和重置门tr 。更新门控制前一时刻的状态信息被带入到当前状态中的程度，值越大前一时刻的状态信息带入越多。重置门控制忽略前一时刻的状态信息的程度，值越小说明忽略得越多。
RNN循环神经网络PPT，涉及到LSTM，GRU、BRNN、BLSTM等等介绍，适合开会用，总共有50页，干货满满
11-22
1.干货满满，整整50页，远远比网络上其他RNN的PPT好，PPT修改过3、4次 2.常见激活函数，损失函数 3.从原理出发讲解LSTM神经网络与传统RNN的区别 4.讲解多个RNN的变体原理细节，GRU、BRNN、BLSTM。 5.RNN的应用场景 6.RNN的背景及其意义
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大部分，机器学习神经网络RNN教程、LSTM、GRU。
RNN变体——最小门限递归神经网络MGU论文原文
05-14
MGUR在GRU的基础上进一步简化，只用一个门限控制前序信息的流动，其结构更简单，效果也不错。
Pytorch实现LSTM和GRU示例
12-23
为了解决传统RNN无法长时依赖问题，RNN的两个变体LSTM和GRU被引入。 LSTM Long Short Term Memory，称为长短期记忆网络，意思就是长的短时记忆，其解决的仍然是短时记忆问题，这种短时记忆比较长，能一定程度上解决长时依赖。 上图为LSTM的抽象结构，LSTM由3个门来控制，分别是输入门、遗忘门和输出门。输入门控制网络的输入，遗忘门控制着记忆单元，输出门控制着网络的输出。最为重要的就是遗忘门，可以决定哪些记忆被保留，由于遗忘门的作用，使得LSTM具有长时记忆的功能。对于给定的任务，遗忘门能够自主学习保留多少之前的记忆，网络能够自主学习。 具体看LSTM单元的内部结构
RNN最全变体形式详解
Jeremy_lf的博客
03-11 3612
参考：https://blog.csdn.net/bestrivern/article/details/90723524 一.概述 RNN用于处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独...
RNN及其变体（LSTM、GRU）的介绍
Yanir的博客
03-25 2626
先打个岔，区分一下recurrent neural network循环神经网络和recursive neural network递归神经网络。 recurrent: 时间维度的展开，代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上，在神经网络结构上表现为后面的神经网络的隐藏层的输入是前面的神经网络的隐藏层的输出； recursive: 空间维度的展开，是一个树结构，比如nlp里某句话，用recurrent neural network来建模的话就
深入理解循环神经网络（RNN）及其变体
cooldream2009的博客
01-08 1601
在当今信息时代，序列数据处理是机器学习和人工智能领域中至关重要的任务之一。循环神经网络（RNN）是一类强大的神经网络架构，能够处理和理解序列数据，从而在自然语言处理、时间序列分析、图像描述等多个领域展现出了广泛的应用。
RNN变体及其应用（详细）
weixin_47182486的博客
08-28 1393
ppt来自于李宏毅老师的视频 首先从带有记忆的网络开始： 前一步的隐藏层状态会写入记忆单元中 再次输入 可以发现相同输入。因为记忆单元存在，输出是不同的 rnn就是具有类似特点的网络，可以记忆之前输入的信息 同时rnn根据存储信息不同可以划分为不同的网络： 存储隐藏状态或者是输出 双向RNN： 将序列按照正反的双向顺序输入，根据两个的h获得输出y 优点是获得信息更广 LSTM 通过输入门决定是否将记忆写到记忆单元中 输出门决定是否将记忆单元中的值输出 遗忘门决定是否遗忘记忆单元的值 具体结构： 输
[模型基础] RNN及变体LSTM、GRU
qq_31225201的博客
04-02 912
1. RNN RNN被称为循环，因为它们对序列中的每个元素执行相同的任务，并且输出元素依赖于以前的元素或状态，RNN的输入和输出是可变的，并且在不停循环同样操作。循环公式有助于处理序列数据，因此RNN常用于处理序列数据。 上述W权重共享，L是每一层/时间步的损失L，将所有损失相加得到整体损失。由于共享权重。每一步的误差梯度也取决于前一步的损失。上述例子中，为了计算第4步的梯度，需要将前3步的损失和第4步的损失相加。这称为Time-BPPT的反向传播。 计算梯度是计算误差的过程，将loss值-梯度*学习率
基于Python进行RNN LSTM GRU测试及数据集试验【100012341】
05-22
递归神经网络(RNN)是神经网络的一种，被广泛用于自然语言处理与手写字体的识别中。本次的分析工作主要分为以下几部分： 使用递归神经网络和其变体(长短期记忆网络LSTM、GRU)在多个数据集(MNIST/FashionMNIST/CIFAR10)上进行训练、测试，比较效果 简单分析不同数据集给参数调整(递归神经网络层数、训练迭代次数)及过拟合现象带来的影响 分析其他超参数(学习率/隐藏层节点数/Dropout)对训练结果带来的影响
RNN变体——GRU网络论文原文
05-14
GRU在LSTM网络的基础上减少一个门限，用更新门代替了遗忘门和输出门，其训练参数更少，效果更好。
RNN结构及其变体
weixin_38621449的博客
04-21 1785
RNN，LSTM,GRU的结构解析RNN结构及代码什么是RNN模型LSTM结构及代码GRU结构及代码合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图...
RNN变体之LSTM和GRU原理
m0_46926492的博客
02-07 287
由于遗忘门的作用，使得 LSTM 具有了长时记忆的功能，对于给定的任务，遗忘门能够自己学习保留多少以前的记忆。它解决的是短时记忆的问题，只不过这种短时记忆比较长，能在一定程度上解决长时依赖的问题。LSTM( Long Short Term Memory Networks) 称为。是传统RNN的变体，比RNN有效捕捉长序列之间的语义关联，缓解梯度消失或爆炸问题。遗忘门是最重要的，遗忘门的作用是决定之前的哪些记忆将被保留，哪些记忆将被去掉。LSTM由三个门来控制，分别是输入门、遗忘门和输出门。
深度学习TF—9.循环神经网络RNN及其变体GRU、LSTM
柳杰的博客
02-27 1111
文章目录引言一、RNN神经元结构（1）二、RNN神经元结构（2）三、循环神经网络的类型四、单向循环神经网络的局限五、长短时记忆网络LSTM六、Gated Recurrent Unit—GRU 引言     虽然全连接神经网络理论上只要训练数据足够，给定特定的x，就能得到希望的y，但是全连接神经网络只能处理独立的输入，前一个输入和后一个输入是完全没有关系的。针对某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的情况，此时，就需要用到循环神经网络RNN，该神经网络能够很好的处理序列信息。
循环神经网络（RNN、RNN变体、RNN训练方法：BPTT）
qq_22169787的博客
08-28 5126
参考和摘录以下博客，对作者的贡献表示感谢，欢迎参考以下文章！ https://blog.csdn.net/qq_39422642/article/details/78676567 https://zhuanlan.zhihu.com/p/28054589 https://blog.csdn.net/qq_16234613/article/details/79476763 http://www....
深度学习-循环神经网络RNN、长短期记忆LSTM、门限循环单元GRU理解
ssshyeong的博客
03-29 3182
RNN 是包含循环的网络，允许信息的持久化。LSTM是一种 RNN 特殊的类型，可以学习长期依赖信息。GRU 基于这样的想法在保留长期序列信息下减少梯度消失问题。本文主要整合相关内容，对这几个机制进行简单介绍。
深度学习之基于Yolov7驾驶员疲劳检测系统
最新发布
2301_79809972的博客
05-17 1036
一、项目背景随着汽车保有量的不断增加，驾驶安全问题日益受到人们的关注。驾驶员疲劳驾驶是导致交通事故的重要原因之一。因此，开发一种能够实时监测驾驶员疲劳状态并提前发出预警的系统对于保障驾驶安全具有重要意义。近年来，深度学习技术特别是目标检测技术在计算机视觉领域取得了显著进展，为驾驶员疲劳检测提供了新的解决方案。本项目旨在利用YOLOv7算法，开发一个基于深度学习的驾驶员疲劳检测系统。二、项目目标。
谈谈RNN、LSTM和GRU的不同点。
06-01
RNN、LSTM和GRU都是循环神经网络（Recurrent Neural Network，RNN）的一种变体，用于处理时间序列数据。 RNN是一种具有循环连接的神经网络，它可以处理序列数据，例如音频、文本等。它的主要优点是可以处理任意长度的序列数据。但是，传统的RNN存在梯度消失问题，模型难以捕捉到长期依赖关系，因此LSTM和GRU被提出来解决这个问题。 LSTM（Long Short-Term Memory）是一种RNN的变体，由Hochreiter和Schmidhuber在1997年提出。LSTM通过引入三个门（输入门、遗忘门和输出门）以及一个记忆单元，来解决传统RNN的梯度消失问题，并能够有效地捕捉序列中的长期依赖关系。LSTM的三个门控制了信息的流动和保留，使得模型可以更好地处理序列数据。 GRU（Gated Recurrent Unit）是另一种RNN的变体，由Cho等人在2014年提出。GRU与LSTM类似，也是通过引入门控机制来解决传统RNN的梯度消失问题，但是GRU只有两个门（更新门和重置门），相对于LSTM而言，参数更少，计算速度更快。 总之，RNN、LSTM和GRU都是用于处理时间序列数据的神经网络模型。LSTM和GRU都是为了解决RNN的梯度消失问题而提出的新型网络结构。相对于LSTM而言，GRU的参数更少，计算速度更快。但是，LSTM在一些任务上的表现可能更好。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值