为什么RNN会比CNN更容易出现梯度消失或爆炸

最新推荐文章于 2024-03-25 21:27:19 发布
最新推荐文章于 2024-03-25 21:27:19 发布
阅读量1.4k 收藏 2
点赞数 2
分类专栏： NLP 文章标签： 自然语言处理 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41128383/article/details/106363170
版权

在这里插入图片描述
公式：
在这里插入图片描述
输出层
ot表示输出值，输出层是一个全连接层与隐藏层的每一个节点连接，V是输出层的权重矩阵，g表示激活函数，
循环层
st 表示隐藏层的值，U是输入的权重矩阵，xt表示输入的值，W是上一时间步st-1作为当前时间步st的输入权重矩阵，f表示激活函数，
从上述公式可知：st的值不仅仅取决于输入的x，还取决于st-1
将st带入Ot的计算公式 得：
在这里插入图片描述
从上式可知循环网络的输出，和xt，xt-1，xt-3有关，这就是循环网络具有记忆的特性

RNN的BPTT（Backpropagation Through Time）

在这里插入图片描述

  • 前向计算每一个神经元的输出值
  • 反向计算每一个神经元的误差值，它是损失函数对神经元的加权输入求偏导数
  • 计算每一个权重的梯度
  • 利用梯度下降算法更新权重

以S3的权重梯度反向传播为例推导
在这里插入图片描述
根据上述分析整理可得， 对于任意时刻t对W求偏导的公式为
在这里插入图片描述
总结：从S3的梯度计算结果可知，如果W是一个一个大于0小于1的数，随着时间步的增加，W将以指数级减小，也就是出现了梯度消失的现象，这也是为什么RNN不能捕获长文本序列之间语义的原因。，如果W是一个一个大于1的数，则W将以指数级增加，也就是出现了梯度爆炸的原因

RNN的训练和CNN训练一样，同样适用BP算法的损失计算反向传播，区别是，RNN中参数U、V、W是共享的，并且在随机梯度下降算法中，每一步输出不仅仅依赖当前步的网络，而且还需要当前步之前时间步的网络，在CNN中，每一层的参数W1 ，W2，W3是互相独立的，W1 ，W2W3 进行连乘，一方面它们都是稀疏矩阵，另一方面W1 ，W2，W3 互不相同，很大程度上都能抵消掉梯度爆炸的影响，这就是为什么RNN会比CNN更容易出现梯度消失或爆炸的原因

baihaisheng
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RNN的梯度消失和梯度爆炸
u012744245的博客
01-08 1万+
文章目录RNN 梯度消失&梯度爆炸1. 深层网络角度解释梯度消失和梯度爆炸2. 激活函数角度解释梯度消失和梯度爆炸3. RNN中的梯度消失和CNN的梯度消失有区别4. 梯度消失、爆炸的解决方案4.1 梯度爆炸的解决方案4.2 梯度消失的解决方案4.2.1 选择relu、leakrelu、elu等激活函数4.2.2 使用Batchnorm（batch normalization，简称BN）：4.2.3 残差结构：4.2.4 LSTM：5. 参考 RNN 梯度消失&梯度爆炸 参考：http
彻底看懂RNN，LSTM，GRU，用数学原理解释梯度消失或者梯度爆炸
qq_50974223的博客
04-15 2058
Recurrent Neutral Network 章节 RNN概述 LSTM GRU 梯度困区 Seq2Seq模型 何去何从 模型之外 RNN概述 为什么它叫做递归神经网络呢？与其他网络有何不同？接下来用简单例子阐述： 这是比较简单的示意图，比如说一个网络只有一层，那么，那一层代表的函数方法就是这个网络实际对输入所起的作用，即Y = Funtion(X)，我们实际上想找出那个function它究竟是什么。 可以从下图看出，RNN得到一个输出不仅仅靠输入的X，同时还依赖于h，h在RNN中被叫做cell
RNN梯度消失和爆炸的原因
qq_38573437的博客
12-26 364
经典的RNN结构如下图所示：假设我们的时间序列只有三段， 为给定值，神经元没有激活函数，则RNN最简单的前向传播过程如下：假设在t=3时刻，损失函数为 。则对于一次训练任务的损失函数为 ，即每一时刻损失值的累加。使用随机梯度下降法训练RNN其实就是对 、 、 以及 求偏导，并不断调整它们以使L尽可能达到最小的过程。现在假设我们我们的时间序列只有三段，t1，t2，t3。我们只对t3时刻...
关于CNN、RNN中的梯度爆炸/梯度弥散
MaloFleur
07-07 2655
梯度爆炸(gradient explosion) 与 梯度弥散(gradient vanishing) 是神经网络研究中常可能遇到的问题，主要体现在训练不收敛，误差、权重波动大，以及出现NaN值，本文以CNN与RNN为例，说明梯度爆炸/弥散的产生原因 CNN CNN神经网络的简易图如下： 用fff表示卷积函数，忽略pooling层，则每一层的运算可以表示为xn=f(Wnxn−1+bn)x_n=f(...
【深度学习】CNN与RNN有什么不同？
喜欢打酱油的老鸟
10-21 1万+
1982年由David Hasselhoff主演的热播美剧《霹雳游侠》可谓有先见之明，剧中有一辆充满未来感的“庞蒂亚克火鸟”汽车。这辆会说话的自动驾驶汽车也以好莱坞的方式生动地为我们上了一节关于图像和语言识别的课。   如果是今天重写剧本，Hasselhoff的AI汽车KITT将会具有从卷积神经网络（CNN）和递归神经网络（RNN）进行深度学习的功能，方便观察、聆听和对话。   这是因为C...
RNN-LSTM卷积神经网络Matlab实现
12-10
RNN因其内在的循环结构，能够处理时间序列数据中的长期依赖问题，但在处理长序列时容易出现梯度消失或爆炸的问题。为了解决这一问题，长短期记忆网络（Long Short-Term Memory，简称LSTM）应运而生。LSTM是一种特殊...
深度学习：人工智能长期短期记忆（LSTM）卷积神经网络（CNN）递归神经网络（RNN）Resnet50残留网络
02-26
在深度学习中，随着网络层数增加，模型可能会遇到梯度消失或梯度爆炸的问题，导致训练困难。ResNet50通过引入残差块克服了这一问题，允许网络拥有更深的层次。每个残差块包含两个或三个卷积层，加上一个跳跃连接，...
RNN-LSTM 卷积神经网络使用 Matlab 实现
10-30
然而，传统的 RNN 在处理长序列时容易遇到梯度消失或爆炸的问题，这限制了它们在许多任务上的表现。 **二、LSTM 简介** LSTM 是 RNN 的一种变体，通过引入门控机制（输入门、遗忘门和输出门）来解决传统 RNN 的问题...
基于词向量与CNN-BIGRU的情感分析研究.docx
02-23
词向量是一个常用的文本表示方法，可以将文本转换为向量形式，使文本更容易被机器学习算法处理。词向量可以捕捉到文本中的语义信息，提高文本的分析准确性。 情感分析是一种常用的自然语言处理技术，可以对文本的...
2020级-20210410-周宣辰 - 副本1
08-08
RNN通过循环结构处理时间序列数据，但标准RNN存在梯度消失或爆炸的问题。在下周计划中提到的改进MNIST手写体识别训练，可能是通过LSTM（长短期记忆网络）或GRU（门控循环单元）来解决这些问题，这些变种RNN能够更好...
Transformer一统江湖：自然语言处理三大特征抽取器比较
WitsMakeMen的专栏
04-10 3225
转自：https://baijiahao.baidu.com/s?id=1622615581125501799&wfr=spider&for=pc 【新智元导读】自然语言处理中的三大特征处理器：RNN、CNN、Transformer，它们目前谁各方面占据优势?未来谁又更有前途呢？这篇文章用目前的各种实验数据给出了说明，结论是：放弃幻想，全面拥抱Transformer。 在辞旧迎新的...
在NLP上，CNN、RNN、MLP三者相比各有何优劣
qunnie_yi的博客
11-28 1万+
本文为知乎温颖就如下问题的回答，已授权CSDN转载 若想要实现某个具体的任务，如做关系抽取、实体识别、情感分类等。在不考虑实现的难度的情况下，如何从理论、经验、直觉上去选择最有希望的模型？ 前段时间做过用不同的神经网络模型做文本分类/情感分析，都是基于词向量去做的，以下是我自己的一些感受：MLP：因为句子长度不固定，所以一般是用Bag-of-Word-Vectors 简单将词向量相加，...
神经网络、DNN、RNN、CNN的简单比较
WangYouJin321的博客
03-12 1454
神经网络技术，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被Hition、Rumelhart等人发明的多层感知机克服，就是具有多层隐藏层的感知机。 多层感知机可以摆脱早期离散传输函数的束缚，使用...
CNN、RNN、DNN区别
热门推荐
lff1208的博客
08-30 13万+
神经网络的来源       神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。但早期的单层感知机存在一个严重的问题——它对稍微复杂一些的函数都无能为力（如异或操作）。直到上世纪八十年代才被Hition、Rumelhart等人发明的多层感知机克服，就是具有多层隐藏层的感知机。
CNN与RNN的区别
白玉杰的博客
05-12 2万+
从应用方面上来看，我了解到的CNN用到做图像识别比较多，而RNN在做到语言处理多一点，如果拿来比喻的话，CNN如同眼睛一样，正是目前机器用来识别对象的图像处理器。相应地，RNN则是用于解析语言模式的数学引擎，就像耳朵和嘴巴。 对于CNN神经网络，有一个基础的假设——人类的视觉总是会关注视线内特征最明显的点 RNN的假设——事物的发展是按照时间序列展开的，即前一刻发生的事物会对未来的事情的发展产生影响。 CNN 人眼对明显的特征最敏感，人眼解析食物的时候，相当于用滤镜扫过图像。CNN正是利用了这样的一种特性，
rnn梯度消失与梯度爆炸及lstm
最新发布
2303_76350311的博客
03-25 750
然而，值得注意的是，如果输入的历史序列很长，LSTM模型的内存和训练时间会大大增加，这是由于LSTM内部的计算过程复杂和监督学习数据的特殊结构所导致的。LSTM（Long Short-Term Memory）模型是一种特殊的RNN（循环神经网络）结构，主要用于解决传统RNN中的梯度消失和梯度爆炸问题，并实现对时间序列的长期依赖关系的捕捉。在整个过程中，LSTM通过精心设计的门控机制，使得模型能够更好地捕捉序列数据中的长期依赖关系，从而在处理长序列数据时具有更好的性能。
如何解决RNN中的梯度消失问题？
CSDN 精品推荐
08-08 621
为了解决梯度消失问题，出现了一些改进型的RNN结构，如长短时记忆网络（LSTM）和门控循环单元（GRU），它们引入了门控机制，能够更好地捕捉长期依赖关系，从而缓解了梯度消失问题。每个时间步的梯度计算都需要将之前时间步的梯度乘以一个权重矩阵（循环权重），这会导致梯度值在反复相乘时逐渐减小，从而可能消失到接近零。设置一个梯度范数的阈值，在反向传播过程中，如果梯度的范数超过了阈值，就对梯度进行缩放，从而避免梯度爆炸问题，同时也有助于缓解梯度消失问题。将批量标准化应用于RNN的输入数据，可以减少梯度消失问题。
RNN基本原理及梯度消失、梯度爆炸的问题原因及解决方法
PuJiang-的博客
03-25 6709
一、RNN基本结构 1、隐层状态sts_tst​ st=σ(Uxt+Wst−1+b)s_t=\sigma(Ux_t+Ws_{t-1}+b)st​=σ(Uxt​+Wst−1​+b) σ\sigmaσ()是激活函数，通常选用Tanh、ReLU。 2、输出状态oto_tot​ ot=g(Vst+c)o_t=g(Vs_t+c)ot​=g(Vst​+c) ggg()是激活函数，对于分类任务通常选用sigmoidsigmoidsigmoid()。 3、Loss计算 输出状态oto_tot​与目标输出yty_tyt​计
GRU和LSMT全称和全拼是什么？和RNN、CNN什么关系？
07-13
GRU全称为门控循环单元（Gated Recurrent Unit），LSTM全称为长短期记忆（Long Short-Term Memory）。它们都是循环神经网络（Recurrent Neural Network，RNN）的变体，用于处理序列数据。 RNN是一类具有循环连接的神经网络，它可以处理具有时间依赖性的序列数据。然而，传统的RNN在处理长序列时容易出现梯度消失或梯度爆炸的问题，导致难以捕捉长期依赖关系。为了解决这个问题，GRU和LSTM被提出。 GRU和LSTM都是针对RNN中长期依赖问题的改进模型。它们引入了门控机制，通过控制信息的流动和遗忘，能够更好地捕捉序列中的长期依赖关系。 与此同时，GRU和LSTM也可以看作是一种特殊的循环神经网络单元。RNN是一种基础结构，而GRU和LSTM是在RNN结构上进行改进和优化得到的。 相比之下，卷积神经网络（Convolutional Neural Network，CNN）主要用于处理具有空间结构的数据，如图像。CNN通过共享权重和局部感知野的方式，在图像上提取特征并进行有效的分类和识别。与RNN不同，CNN是一种前馈神经网络，没有循环连接。 总结来说，GRU和LSTM是循环神经网络中的改进模型，用于解决长期依赖问题。RNN、GRU和LSTM都是处理序列数据的模型，而CNN主要用于处理具有空间结构的数据，如图像。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值