循环神经网络之Recurrent Neural Network（RNN）

最新推荐文章于 2024-05-30 08:00:00 发布
最新推荐文章于 2024-05-30 08:00:00 发布
阅读量407 收藏 1
点赞数 1
分类专栏： 机器学习算法 卷积神经网络 深度学习 文章标签： 深度学习 人工智能 神经网络 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37724529/article/details/117109873
版权

1、什么是RNN？

全名，叫做Recurrent neural network，它可以处理有序列的或者有前后关系的句子，利用前面的信息预测后面的信息，这个是RNN和CNN最大的区别。CNN不考虑顺序依赖关系，RNN考虑顺序依赖关系。

2、RNN的结构

这个图就是一个循环神经网络，它循环其实是一个"假"循环，就是将每个时间步的输入拆开即可。首先说一下RNN的输入和学习的参数。

输入：x_t:每个时间步的输入，s_t每个时间步的隐状态向量。

输出：o_t每个时间步的输出

接下来说说如何得到隐状态向量和输出。

s_t:由上一个时间步的输入x和隐状态计算决定，因此它包含了上一个步骤的一些携带信息。s_{t}=f(U*x_{t}+W*s_{t-1}),f也是一个激活函数。

o_t:是每个时间步的s_t来决定的，这个s_t已经有了上一个隐状态和当前输入的计算了。o_ {t} = Softmax(V*s_{t})

那么从上面隐状态的计算和输出的计算可以看到，需要学习的参数就是U,V,W这三个参数。这里很重要的一点就是每个状态步共享这个三个参数，也就是说这三个参数在每一步都是一样的。那么从公式的推导其实可以看出来为啥它可以处理有顺序依赖关系的句子，而CNN不能处理，其关键的部分就在于s_t隐状态向量，因为它捕获了之前每个时间步的信息。RNN的主要特征是它的隐藏状态，它捕获了一些关于前边序列的信息。

3、RNN应用

  • 机器翻译
  • 语音识别
  • 句子的情感预测
  • ........

4、RNN的BPTT

训练RNN需要用使用的是随机梯度下降算法，更新参数的时候肯定还是用到的方向传播，但是实际上这个反向传播和CNN中的反向传播是有一些区别的。

我们用的损失函数是交叉熵损失函数，写出总的损失函数。

每个时间步的损失函数：E_{t}(y_{t},\hat{y}) = -y_{t}log\hat{y_{t}}

总的损失函数：E(y,\hat{y})=\sum_{t}E_{t}(y_{t},\hat{y}_{t})

待学习的参数是U,V,W因此要对这些参数进行求导。

以第3步为例

z_{3}=Vs_{3}

对V的偏导仅仅取决于当前的步长，那么多对W、U的求导可就不仅仅取决于当前的步长，以W为例子

s_{3}=tanh(U*x_{t}+Ws_{2})

可以看到s3的值取决于s2，s2有取决于s1因此需要根据链式要对之前的都分别求偏导，然后计算总的梯度贡献值

对U的求导同理可得。

5、RNN的缺点

如果一个句子太长那么RNN不能捕捉到前面信息对后面信息的贡献，可以这么认为那个隐状态能记录的信息是有限的，当然从原理上来讲会在反向传播的过程中出现梯度的消失或者梯度爆炸问题。

由刚才计算梯度的式子来看

其中\frac{\partial s_{3} }{\partial s_{k}}也是链式法则求导

\frac{\partial s_{3} }{\partial s_{1}}=\frac{\partial s_{3} }{\partial s_{2}}\frac{\partial s_{2} }{\partial s_{1}}

因此可以将上述式子改成下面的

h_{t}=s_{j}

 

其导数为

如果激活函数是sigmoid，导数的上界是1/4.

是一个在区间 这样经过连乘以后，不管是sigmoid或者tanth的激活函数都是取于0的时候，连乘之后最远的梯度对当前的梯度就几乎没有什么影响了。那么比较远位置的向量就对它当前的学习没什么贡献，这个和我们说RNN的初衷就不一样了，因为句子太长，造成梯度为0，学习位置较远的信息就失效了。最终无法学习长期的依赖关系，当然了如果这个导数的值越大经过连乘之后就会造成梯度爆炸loss计算过程就会出此案NaN值，这个可以用梯度裁剪（将梯度剪切到预先定义的阈值），而梯度消失往往不明显，当然改进梯度消失可以换激活函数或者正则化，但是都没从根本解决这个问题。因此LSTM就应运而生了。

 

Reference：https://www.zhihu.com/question/44895610/answer/616818627；http://www.wildml.com/2015/10/recurrent-neural-network-tutorial-part-4-implementing-a-grulstm-rnn-with-python-and-theano/

 

BlackMan_阿伟
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习算法——循环神经网络RNN
Vicky_xiduoduo的博客
10-04 1611
传统的RNN模型、RNN前向传播算法、RNN反向传播算法
Matlab实现循环神经网络RNN
12-02
循环神经网络（Recurrent Neural Network，RNN）是深度学习领域中一种特殊的神经网络结构，尤其适用于处理序列数据，如自然语言、时间序列预测等。在Matlab中实现RNN，可以帮助我们理解其工作原理，并在实际问题中...
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
RNN
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 31万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
循环神经网络（Recurrent Neural Networks，RNN）
最新发布
weixin_43156294的博客
05-30 1019
循环神经网络（Recurrent Neural Networks，RNN）是一种适合于处理序列数据的神经网络。它与传统的前馈神经网络（Feedforward Neural Networks，FNN）不同，RNN能够处理序列中的动态信息，并且能够处理任意长度的序列。
5、循环神经网络（RNN ）
m0_56642803的博客
05-22 2250
最基本的单层网络，输入是x，经过变换Wx+b和激活函数f得到输出y。
循环神经网络 Recurrent Neural Network ｜ RNN
JasonH2021的博客
07-07 5380
简单介绍了循环神经网络的基本概念，应用场景，优缺点，建模过程，类库方法和代码案例等
RNN代码_recurrentnetwork_RNN_RNN神经网络_递归神经网络_
10-01
**RNN（循环神经网络）**是一种深度学习模型，它在处理序列数据，如文本、音频或时间序列数据时表现出色。与传统的前馈神经网络（Feedforward Neural Networks，FNN）不同，RNN允许信息在时间上流动，使得网络能够...
Neural-Network-Toolbox 神经网络工具箱
04-18
Jx-NNT : 神经网络工具箱 * 此工具箱包含六种类型的神经网络 ...+ Recurrent Neural Network ( RNN ) + Generalized Regression Neural Network ( GRNN ) + Probabilistic Neural Network ( PNN )
基于循环神经网络RNN的歌词生成
04-15
循环神经网络（Recurrent Neural Network, RNN）是一种在序列数据处理方面表现出色的人工神经网络模型，尤其在自然语言处理（NLP）领域中应用广泛。歌词生成是RNN的一个典型应用场景，它能根据已有的歌词数据学习到...
简单理解RNN循环神经网络
01-06
简单理解RNN循环神经网络RNN(Recurrent Neural Network）介绍图说RNN宏观结构图说RNN微观结构 RNN(Recurrent Neural Network）介绍 介绍： RNN，也就是循环神经网络，是用来建模序列化数据的一种主流的深度学习模型...
循环神经网络
weixin_53065229的博客
07-26 5896
循环神经网络（recurrent neural network，RNN）是一类用于处理序列数据的神经网络。RNN: 借助循环核（cell）提取特征后，送入后续网络(如全连接网络 Dense) 进行预测等操作。RNN 借助循环核从时间维度提取信息，循环核参数时间共享。...
深度学习-循环神经网络详解
ove_z的博客
06-27 6215
循环神经网络基础知识和代码实践，包括训练周杰伦歌词并用RNN进行创作
循环神经网络（Recurrent Neural Network, RNN）
qq_41536160的博客
05-29 5348
基本概念 一般的神经网络(BP以及CNN)只对预先确定的大小起作用：它们接受固定大小的输入并产生固定大小的输出。它们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果。但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了。 循环神经网络 (Recurrent Neural Network, RNN) 一般是指时间递归神经网络而非结构递归神经网络 (Recursive Neura
循环神经网络（RNN）
小朱小朱绝不认输的博客
01-10 2万+
在之前学习了全连接神经网络（DNN）模型，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或部分连接的，但每层之间的节点是无连接的。 一、神经网络基础 神经网络可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y，结构图如下： 将神经网络模型训练好之后，在输入层给定一个x，通过网络之后就能够在输出层得到特定的y，那么既然有了这么强大的模型，为什么还需要RNN（循环神经网络）呢？ 二、为什么需要RNN（循环神经网络） 考虑这样一个问题，如果要预测句子的下一个单词是什么
Deep learning：五十一(CNN的反向求导及练习)
weixin_33749131的博客
12-10 384
  　　前言： 　　CNN作为DL中最成功的模型之一，有必要对其更进一步研究它。虽然在前面的博文Stacked CNN简单介绍中有大概介绍过CNN的使用，不过那是有个前提的：CNN中的参数必须已提前学习好。而本文的主要目的是介绍CNN参数在使用bp算法时该怎么训练，毕竟CNN中有卷积层和下采样层，虽然和MLP的bp算法本质上相同，但形式上还是有些区别的，很显然在完成CNN反向传播前了解bp...
深度学习-神经网络-循环神经网络（一）：RNN（Recurrent Neural Network，循环神经网络；1990年）
u013250861的博客
07-21 1万+
为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络（Recurrent Neural Net
recurrent neural network
03-16
递归神经网络 (Recurrent Neural Network, RNN) 是一种特殊的神经网络，其具有记忆能力，能够处理具有时间序列特征的数据。 RNN 通过在网络中循环...常见的 RNN 结构包括循环神经网络 (RNN) 和长短时记忆网络 (LSTM)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值