循环神经网络介绍（RNN）

最新推荐文章于 2024-05-16 18:18:12 发布
最新推荐文章于 2024-05-16 18:18:12 发布
阅读量1k 收藏 14
点赞数 32
文章标签： rnn 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47256446/article/details/138188949
版权
本文详细介绍了序列模型在NLP、音频和视频等领域的应用，重点讲解了循环神经网络（RNN）的工作原理，包括不同类型如一对一、一对多、多对多等。文章还涉及词的表示方法（one-hot编码和softmax），矩阵运算表示，以及如何通过交叉熵损失和BPTT进行训练，同时讨论了梯度消失和梯度爆炸的问题。
摘要由CSDN通过智能技术生成

序列模型

定义：自然语言处理、音频、视频以及其他序列数据的模型

类型：

        语音识别

        情感分析

        机器翻译

特点：

      序列数据前后之间有很强的关联性

      序列数据的输入输出长度不固定

循环神经网络

定义：循环（递归）神经网络是神经网络的一种，RNN将状态在自身网络中循环传递，可以接受时间序列结构输入

类型：

一对一：固定的输入到输出，如图像分类

一对多：固定输入到序列输出，如图像的文字描述

多对一：序列输入到输出，如情感分析，分类正面负面情绪

多对多：序列输入到序列输出，如机器翻译，称为编解码网络

同步多对多：同步序列输入到同步输出，如文本生成，视频每一帧的分类，也称为序列生成

基础循环网络介绍

Xt：表示每一时刻的输入

Ot：表示每一时刻的输出

St：表示每一个隐层的输出

中间小圆圈代表隐藏层的一个单元（cell）

U V W参数共享所有的cell

每一个cell：有两个输入，前一个cell的状态和当前序列的输入

      _{S_{t}} = g1(Ux_{t}+Ws_{t-1}+ba)

每一个cell：有两个输出，当前cell的状态和cell的预测输出

       O_{t} = g2(Vs_{t}+by)

      输出：受到前面时刻隐藏状态的影响

g1,g2：表示激活函数  g1：tanh/relu    g2:sigmoid  softmax

序列生成案例

s  我  昨天  上学  迟到  了  e

词的表示

one - hot编码表示

建立一个所有词的词库（30000个），包含（开始结束）

输出的表示 --softmax

每一个时刻输出的是下一个最有可能的词，可以用概率表示，总长度为词的总数长度

所有词的概率组成的向量

使用softmax来计算概率

矩阵运算表示

以上面为例 

st = rule(Ust + Wst-1)

ot = softmax(Vst)

m :词的个数  xt:长度为m   n:可以人为设定,指定cell的状态输出 大小

形状表示：

[n  , m] * [m ,1] + [n , n] * [n , 1] = [n , 1]

矩阵U n*m  矩阵W n*n

[m , 1] * [n, 1] = [m * 1]

矩阵V [m , 1]

交叉熵损失

一整个序列作为一个训练实例，总误差就是各个时刻词的误差之和

时序反向传播算法（BPTT）

梯度沿着时间通道传播的BP算法

目标：计算误差关于参数U、V和W以及两个偏置bx,by的梯度

          每个时间的梯度都计算出来，然后加起来的梯度为每次w更新的梯度

区分最后一个cell和前面cell的s的梯度值

最后一个：计算最后一个时刻交叉熵损失对于st的梯度

最后一个前面的cell的ds

求出当前层损失对于当前隐层状态输出梯度 + 上一层梯度

每一个cell梯度计算过程

先计算ds^t 然后计算tanh函数梯度

利用链式法则去求U W ba 和x_t,s_t-1的梯度

梯度消失与梯度爆炸

如果矩阵中有非常小的值，并且经过矩阵相乘N次之后，梯度值快速以指数形式收缩，较远的时刻梯度变为0

如果矩阵的值非常大，就会出现梯度爆炸

虫子uuu
关注
基于循环神经网络(RNN)实现影评情感分类
12-25
使用循环神经网络(RNN)实现影评情感分类 作为对循环神经网络的实践，我用循环神经网络做了个影评情感的分类，即判断影评的感情色彩是正面的，还是负面的。 选择使用RNN来做情感分类，主要是因为影评是一段文字，是...
循环神经网络RNN的ppt
06-08
循环神经网络RNN的ppt
深度学习05-RNN循环神经网络
liaomin416100569的专栏
06-26 1万+
循环神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，被广泛应用于自然语言处理、语音识别、时序数据分析等任务中。相较于传统神经网络，RNN的主要特点在于它可以处理序列数据，能够捕捉到序列中的时序信息。RNN的基本单元是一个循环单元（Recurrent Unit），它接收一个输入和一个来自上一个时间步的隐藏状态，并输出当前时间步的隐藏状态。在传统的RNN中，循环单元通常使用tanh或ReLU等激活函数。
一文简述循环神经网络（RNN）基础版
小白学视觉
04-11 1495
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文简要介绍了什么是循环神经网络及其运行原理，并给出了一个 RNN 实现示例。什么是循环神经网络（RNN）？它们如何运行？可以用在哪里呢？本文试图回答上述这些问题，还展示了一个 RNN 实现 demo，你可以根据自己的需要进行扩展。循环神经网络架构基础知识。Python、CNN 知识是必备的。了解 CNN 的相关知识，是为了与 ...
神经网络——循环神经网络（RNN）
Krisit的博客
02-19 1万+
讲述了循环神经网络的原理以及在MATLAB中的实际运用
循环神经网络（RNN）简介与应用
是我的博客
02-04 3666
循环神经网络(Recurrent Neural Networks，简称RNN)是深度学习中用于处理序列数据的一类神经网络。本文将介绍RNN的基本概念、原理、以及在不同领域的应用，并附带一些具体的代码实例，以便更好地理解和应用这一强大的序列模型。
RNN（循环神经网络）
weixin_63685622的博客
05-16 7904
RNN(Recurrent Neural Network), 中文称作循环神经网络,它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.RNN的循环机制使模型隐层上一时间步产生的结果,能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.结构：三层，输入、输出、隐藏层（循环在隐藏层）图中sigma为sigmiod函数，将值压缩在0-1之间。
使用循环神经网络(RNN, LSTM或GRU)实现气象数据预测
05-03
使用循环神经网络(RNN, LSTM或GRU)实现气象数据预测： 数据集： tq.csv记录了某地每隔1小时的气象数据： Date Time：时间（日期是 日月年 的格式） p (mbar)：大气压 T (degC)：气温 rh (%)：湿度 使用循环神经...
循环神经网络（RNN）与长短期记忆网络（LSTM）详解.html
最新发布
08-23
循环神经网络（RNN）与长短期记忆网络（LSTM）循环神经网络（RNN）与长短期记忆网络（LSTM）循环神经网络（RNN）与长短期记忆网络（LSTM）循环神经网络（RNN）与长短期记忆网络（LSTM）循环神经网络（RNN）与长短期...
一文详解什么是RNN（循环神经网络）
Machine Learning with Tutors
04-25 5万+
如图所示，你会发现每个cell都会有一个损失，我们已经定义好了损失函数，接下来就是熟悉的一步了，那就是根据损失函数利用SGD来求解最优参数，在CNN中使用反向传播BP算法来求解最优参数，但在RNN就要用到BPTT，它和BP算法的本质区别，也是CNN和RNN的本质区别：CNN没有记忆功能，它的输出仅依赖与输入，但RNN有记忆功能，它的输出不仅依赖与当前输入，还依赖与当前的记忆。在图像处理中，目前做的最好的是CNN，而自然语言处理中，表现比较好的是RNN，因此，我们能否把他们结合起来，一起用呢？
循环神经网络(RNN--Recurrent-Neural-Networks)介绍
06-19
循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。
RNN
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 31万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
跟我学神经网络4-循环神经网络
zhyongquan的专栏
03-30 391
1. 关键词 BPTT 2. 简介 人们在开始思考时，不是每次都从零开始。比如你读这篇文章，因为你曾经看过相似的文字，所以也能理解这里的文字。你不是从头开始学，你的知识是逐渐积累的。 在多层感知器中隐含层之间依次次连接。当把隐含层折叠起来，就可以得到一个递归网络。如下图： 公式表示： st=tanh(Uxt+Wst−1)ot=softmax(Vst) s_t=tanh(Ux_t+Ws_{t-1}...
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
循环神经网络RNN（很简洁的讲解）
qq_29462849的博客
06-09 4699
介绍 循环神经网络（recurrent neural network）或 RNN (Rumelhart et al., 1986c) 是一类用于处理序列数据的神经网络。就像卷积网络是专门用于处理网格化数据 X（如一个图像）的神经网络， 循环神经网络是专门用于处理序列 x(1)x(1)x^{(1)}, …. x(T)x(T)x^{(T)} 的神经网络。正如卷积网络可以很容易地扩展到具有很大宽度和...
深度学习：循环神经网络RNN
皮皮blog
09-01 9379
http://blog.csdn.net/pipisorry/article/details/77776743 RNN模型 循环神经网络（recurrent neural network，RNN）是一种具有反馈结构的神经网络，其输出不但与当前输入和网络的权值有关，而且也与之前网络的输入有关；RNN通过添加跨越时间点的自连接隐藏层，对时间进行建模；换句话说，隐藏层的反馈，不仅仅进...
RNN 循环神经网络简介
什么都干的派森
03-12 9663
索引： 1.RNN 循环神经网络简介 2.LSTM RNN 长短期记忆循环神经网络简介 3.GRU RNN 门循环单元循环神经网络简介 一.RNN 循环神经网络简介 1990年, 美国认知科学家Jeffrey L. Elman 对jordan network进行了简化,并采用BP算法进行训练，便有了如今最简单的包含单个自连接节点的RNN 模型 循环神经网络，是指在全连接神经网络的基础上增加了前后时序上的关系，可以更好地处理比如机器翻译等的与时序相关的问题。 RNN的目的就是用来处理序列数据的。在传统的神经
循环神经网络(RNN)简介
网络资源是无限的
09-01 4万+
人工神经网络介绍参考： https://blog.csdn.net/fengbingchun/article/details/50274471  卷积神经网络介绍参考： https://blog.csdn.net/fengbingchun/article/details/50529500  这里在以上两篇基础上整理介绍循环神经网络： 前馈网络可以分为若干”层”，各层按信号传输先后顺序依次排列...
深度学习之RNN(循环神经网络)
笨拙的石头的博客
05-28 24万+
一 RNN概述     前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.     1) BP算法,CNN之后, 为什么还有RNN?     细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值