RNN的几个常见问题

最新推荐文章于 2024-09-15 08:30:00 发布
最新推荐文章于 2024-09-15 08:30:00 发布
阅读量5.5k 收藏 18
点赞数 6
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanfeixue2001/article/details/107872319
版权

对于序列数据，它的一个重要特性是具有顺序，而RNN的记忆性使它可以处理序列数据。

下面我们来回答几个问题：

  • RNN的结构是什么？
  • RNN为什么具有记忆功能？
  • RNN的损失函数是？
  • RNN存在梯度消失/爆炸问题的原因是什么？

1. RNN的结构是什么？

首先，我们看下基本RNN的结构：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保失败,源站可能有防盗链机制,建议将图片保存下来直接上传存下来(img-m7tMale2-1596813051352)(https://imgkr2.cn-bj.ufileos.com/0a6a521e-b5ae-4e85-9417-a325ff8d0fe0.png?UCloudPublicKey=TOKEN_8d8b72be-579a-4e83-bfd0-5f6ce1546f13&Signature=Onew6UAsrGoroSq0aeerlchckbU%253D&Expires=1596898967)(../../../../../Library/Application Support/typora-user-images/image-20200807220220205.png)]

模型的每个时间步通用公式为：
a < t > = f ( W a a < t − 1 > + W x x < t > + b a ) y ^ < t > = g ( W y a < t > + b y ) \begin{aligned} &a^{<t>}=f(W_{a}a^{<t-1>}+W_{x}x^{<t>}+b_{a}) \\& \hat{y}^{<t>}=g(W_{y}a^{<t>}+b_{y}) \end{aligned} ​a<t>=f(Wa​a<t−1>+Wx​x<t>+ba​)y^​<t>=g(W

最低0.47元/天 解锁文章
hanfeixue2001
关注
专栏目录
关于RNN的一个问题
qjf42的专栏
09-10 534
问题的引入 某次实验，一个比较简单的二分类问题，网络结构：两层bilstm+bigru，hidden state拼接后加一个attention，再加两层全连接做分类； 本以为attention能work，找出序列中对分类最有用的元素/片段，但实际情况是，所有的attention score都差不多（≈1len\approx \frac{1}{len}≈len1​，除了前几个可能稍有不同）; att...
RNN结构有什么问题？LSTM解决了RNN什么问题？怎么解决的？
jq_98的博客
10-10 5336
1、减少参数量，使得训练更加容易，减少训练难度2、它有助于将模型应用于不同长度的示例。在读取序列时，如果RNN模型在训练期间的每个步骤使用不同的参数，则不会将其推广到看不见的不同长度的序列。通常，序列会根据整个序列的相同规则进行操作。“星期一下雪了”“星期一在下雪”虽然细节在序列的不同部分中，但这两个句子的含义相同。参数共享反映了我们在每一步都执行相同任务的事实，因此，我们不必在句子的每一点都重新学习规则。为什么LSTM(Long Short-Term Memory)为什么叫长短期记忆网络。
一文彻底搞懂RNN - 模型架构（Model Architecture）
最新发布
2401_85327249的博客
09-15 1023
RNN是一种特殊的神经网络结构，它通过在时间上的展开来处理序列数据中的依赖关系。在每个时间步（time step），RNN都会接收一个输入（比如句子中的一个单词），并输出一个结果（比如下一个单词的预测）。与传统的前馈神经网络（Feedforward Neural Network, FNN）不同，RNN在每个时间步都会保留一个隐藏状态（hidden state），这个隐藏状态包含了之前所有时间步的信息，并用于计算当前时间步的输出和下一个时间步的隐藏状态。
关于RNN循环神经网络的问题
麦格芬230的博客
04-14 893
1. LSTM与GRU异同是什么？ 不同： （1）对memory 的控制 LSTM： 用输出门控制，传输给下一个单元 GRU：直接传递给下一个单元，不做任何控制 （2）input gate 和reset gate 作用位置不同 LSTM: 计算新记忆时不对上一时刻的信息做任何控制，而是用遗忘门独立的实现这一点。 GRU: 计算新记忆时利用重置门对上一时刻的信息进行控制。 相似： ......
第八章：Tensorflow2.0 传统RNN缺陷和LSTM网络原理（理论+实战）
变强啊！三少奶奶
09-06 4040
一、传统RNN存在的问题 1）容易出现梯度爆炸和梯度弥散 虽然在某些情况下，其参数比卷积神经网络要少很多。但是，RNN并没有我们想象中的那么完美，随着循环次数的叠加，其梯度很容易出现梯度爆炸或者梯度弥散，而导致这个缺陷产生的主要原因是，传统RNN在计算梯度时，其公式中存在一个的k次方。具体出现的原因我们在上一篇博客中有详细讲解，下面给出链接： ...
RNN（循环神经网络）存在什么问题，如何改进？
m0_51305283的博客
03-12 831
改进方法往往是通过改进模型，即使用LSTM（长短时记忆模型）及其GRU等模型加入门口机制，来弥补梯度消失带来的损失。基于BPTT算法学习的循环神经网络大多数情况下会出现无法成功捕捉到长时依赖问题，主要由于梯度消失问题导致。2.梯度截断，检查误差梯度的值是否超过了阈值，如果超过了那么就截断梯度，将梯度设为阈值。除此之外，RNN较少情况下也出现梯度爆炸情况。1.权重衰减，例如L2权重衰减。
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN....LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大部分，机器学习神经网络RNN教程、LSTM、GRU。
【深度学习系列（六）】：RNN系列（3）：基于Tensorflow的RNN的实战之英文名字生成
01-06
了解RNN的基本单元及其改进之后，接下来我们使用RNN进行一个简单的名字生成实战来了解实际...文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：
学习LSTM、RNN中产生的几个概念性疑问和解答
Jacob's blog
02-29 328
通常使用的损失函数
RNN的常见问题与解决方案：梯度消失、梯度爆炸与过拟合，掌握核心技术
[RNN的常见问题与解决方案：梯度消失、梯度爆炸与过拟合，掌握核心技术](https://i-blog.csdnimg.cn/blog_migrate/0574bdd0db233a92d06bf5c22ca4a0e9.png) # 1. RNN基础理论 循环神经网络（RNN）是一种特殊的神经...
RNN问题集
谁怕平生太急
12-07 833
来源 《百面机器学习》第10章 RNN 建模序列化数据的一种主流DL模型。 传统前馈NN一般的输入都是一个定长的向量，无法处理变长的序列信息，即使通过一些方法把序列处理成定长的向量，模型也很难捕捉序列中的长距离依赖关系。 RNN通过串行，累积了序列前面的信息并不断传递，最后浓缩成抽象的表示。 RNN和CNN 问：处理文本数据时，RNN与前馈NN相比有什么特点？ 以TF-IDF向量作为特征输入，丢失了输入文本序列中每个单词的顺序。 CNN能够捕捉到原文本中的一些局部特征，但是两个单词之间的长距离依赖关系很难被
【机器学习300问】122、RNN面临哪些问题？
qq_39780701的博客
06-17 1179
循环神经网络（RNN）主要面临梯度消失和梯度爆炸两个核心问题，这严重影响了其处理长期依赖的能力。此外，还存在一些其他的技术挑战。
循环神经网络及其存在的问题
十三
12-19 1756
传统的文本处理任务一般将tfidf向量作为特征输入，这样做存在一个问题就是忽略了文本序列中每个单词的顺序。同时在神经网络例如BP建模过程中通常接受的是一个固定的向量，当输入变长的文本需要先通过滑动窗口的形式转换成一个固定向量，虽然这样可以捕捉一些局部信息，但是两个长距离单词之间的依赖关系难以捕捉到。 因此，未解决上述问题，循环神经网络（RNN）诞生，RNN可以很好的解决变长的文本数据和有序的输入序列。可以对文章中从前到后的单词进行顺序编码，将前面有用的信息存储在状态向量，从而拥有一定的记忆能力，可以更好的理
RNN基础
雪糕cool的博客
03-17 449
一、RNN基础（参考了https://www.atyun.com/30234.html） 1. RNN模块 先前隐藏状态和当前输入组合成一个向量，经过tanh激活（将数据范围压缩到-1到+1之间，以防多次连乘数据爆炸），输出隐藏状态，并将隐藏状态传递给序列的下一步。隐藏状态充当神经网络的记忆，它保存着网络以前见过的数据信息。 （图片来自https://www.atyun.com/...
普通RNN的缺陷—梯度消失和梯度爆炸
及时总结
02-18 2410
之前的RNN，无法很好地学习到时序数据的长期依赖关系。因为BPTT会发生梯度消失和梯度爆炸的问题。 RNN梯度消失和爆炸 对于RNN来说，输入时序数据xt时，RNN 层输出ht。这个ht称为RNN 层的隐藏状态，它记录过去的信息。 语言模型的任务是根据已经出现的单词预测下一个将要出现的单词。 学习正确解标签过程中，RNN层通过向过去传递有意义的梯度，能够学习时间方向上的依赖关系。如果这个梯度在中途变弱（甚至没有包含任何信息），权重参数将不会被更新，也就是所谓的RNN层无法学习长期的依赖关系。梯度的流动如下图
关于RNN的几点疑问（杂乱）
CTTACM的专栏
02-24 252
关于RNN的理解 这是在读Understanding LSTM Networks这篇文章的时候，对一些之前不明白的点的理解和对一些地方的疑问的记录。希望以后看的更多相关的知识能够搞清楚。 图中的黄色的带有激活函数的长方形就是代表神经网络，即由激活函数包裹着的线性运算单元，即tanh(∑(w∗x+b))tanh(\sum(w*x + b))tanh(∑(w∗x+b))。 “门&amp;quot;结构由一个&amp;quot;激活神经...
RNN梯度消失问题
热门推荐
atarik@163.com
08-07 1万+
关于梯度消失问题: 1.网络层次越深, 越容易引起梯度消失, 无论是纵向网络(bp), 还是横向网络(rnn), 梯度消失是由激活函数的导数位于[0,1]区间引起的 2.bp网络梯度消失会导致最前端的W学习不到, 而rnn梯度消失会引起记忆问题,只能学习到短期网络, 具体见https://www.jianshu.com/p/2512302f14c7 3.rnn梯度消失是因为误差间的相乘关...
RNN理论详解
leva的博客
08-11 467
真正使RNN强大的是它能够处理向量序列，其中RNN的输入和输出可以是序列，下图很好地说明了这一点，最左边的例子是一个传统（非递归）网络，后面跟着一个序列输出的RNN，接着跟着一个序列输入的RNN，其次跟着序列输入和序列输出不同步的RNN，最后是序列输入和序列输出同步的RNN。在音乐中，一首曲子的下一个音符肯定取决于前面的音符，而在视频领域，电影中的下一帧肯定与先前的帧有关。基于时间序列的模型可以用RNN来描述，其中，时刻i输入为Xi，输出为Yi，时刻[0，i-1]区间的状态信息被反馈至网络。...
带有神经网络的梯度消失（Vanishing gradients with RNNs）
csdn_xmj的博客
06-23 547
来源：Coursera吴恩达深度学习课程 基本的RNN算法还有一个很大的问题，就是梯度消失（vanishing gradients）的问题。 如上图，这是个语言模型的例子。有两个句子：“The cat, which already ate ……, was full.”和“The cats, which ate ……, were full.”它们都有长期的依赖（have very long-term dependencies），前面的单词对句子后面的单词有影响。但是基本的RNN模型（上图编号1所示的网
RNN例程使用教程及数据自定义
资源摘要信息:"rnn.rar_RNN_surei4m" 1. 循环神经网络（RNN）简介 ...通过直接运行这个例程，并对其中的数据进行更改，用户可以更快地理解和掌握RNN的工作原理和应用，从而在实际问题中进行有效的序列数据处理和预测。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值