RNN（一） overview

最新推荐文章于 2024-05-16 18:18:12 发布
最新推荐文章于 2024-05-16 18:18:12 发布
阅读量1.5k 收藏
点赞数
分类专栏： 神经网络 文章标签： rnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xmdxcsj/article/details/48903331
版权

想学习神经网络，由于最近有语义理解和断句的工作需求，正好以RNN为切入点，开始神经网络方面的学习。

一些RNN学习的资源：

https://en.wikipedia.org/wiki/Recurrent_neural_network

http://www.zhihu.com/question/29411132

神经网络基础

Neural Networks

神经网络中的神经元结构如上图

Feedforward Neural Networks

所有节点之间不存在环，所以所有的节点可以归类到某一层，一层的输出基于上一层的输出，输入X作为最底层的输入。

前馈网络的局限性在于需要保证输入数据的独立性，对于视频、音乐或者句子这些在时间维度相关的输入数据来说，应用前馈网络就有很大的局限性。

RNN

时刻t隐层的输入不仅跟时刻t输入x(t)有关，还跟t-1时刻的隐层h(t-1)有关。所以最后将导致，时刻t-1的输入x(t-1)将会影响t时刻的输出y(t)。

Training

由于RNN在时间维度的高依赖性，导致RNN的训练相比于DNN更为复杂。主要的两大难点在于vanishing和exploding。

Truncated backpropagationthrough time (TBPTT)是一种有效的训练方法。

Modern RNNs

两个最成功的RNN结构是LSTM和BRNN。

LSTM




Input node：g，跟上一时刻的隐层和当前时刻的输入x有关，激活函数是tanh。

Input gate：i，跟上一时刻的隐层和当前时刻的输入x有关

Internal state：s，有一条自旋的边称为constant error carousel，保证误差随着时间的传播没有vanishing

Forget gate：f

Output gate：o

前向使用input gate和output gate控制是否通过internal state，后向使用constant error carousel避免误差的vanishing和exploding。

BRNN

Bidirectional RecurrentNeural Networks包含两个隐层，第一个隐层跟过去有关，第二个隐层跟未来有关。

BRNN的局限性在于其需要未来的信息，不适合应用线上 环境（因为没有未来的信息），但可以用在自然语言处理方面，比如文本标注问题，跟上下文都有关系。

 

 

参考文献

A Critical Review of Recurrent Neural Networksfor Sequence Learning


xmdxcsj
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nlp_overview：应用于自然语言处理的现代深度学习技术概述
02-03
它涵盖了深度学习模型（如递归神经网络（RNN），卷积神经网络（CNN）和强化学习）背后的理论描述和实现细节，用于解决各种NLP任务和应用。 概述还包含NLP任务（例如机器翻译，问题解答和对话系统）的最新结果摘要。...
CRC - Recurrent Neural Networks Design and Applications
09-30
This overview incorporates every aspect of recurrent neural networks. It outlines the wide variety of complex learning techniques and associated research projects. Each chapter addresses architectures...
通俗易懂的RNN总结（包含LSTM/GRU/BPTT等）
chen_mushi的博客
03-17 3624
1、RNN介绍： RNN的基本想法是如何采用序列信息。在传统神经网络中我们假设所有的输入和输出都是相互独立的，但对于很多任务这样的假设并不合适。如果你想预测一个句子的下一个单词，的则需要知道之前的words包括哪些。 RNN被称为循环因为它们对句子的每个元素都执行相同的任务，输出依赖于之前的计算；另一个理解RNN的方法是假设他们用记忆能够获取之前计算过的信息。理论上RNN能够利用任意长的句子，但是...
深度学习第38讲：RNN的 4 种类型
weixin_37737254的博客
10-07 630
在上一讲中，我们对 RNN 的基本结构和计算机制有了初步的了解。本节笔者将和大家继续学习 RNN 的相关知识，对 RNN 的几种不同的类型结构进行分析。上一讲中...
RNN（循环神经网络）
最新发布
weixin_63685622的博客
05-16 2328
RNN(Recurrent Neural Network), 中文称作循环神经网络,它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.RNN的循环机制使模型隐层上一时间步产生的结果,能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.结构：三层，输入、输出、隐藏层（循环在隐藏层）图中sigma为sigmiod函数，将值压缩在0-1之间。
RNN
fredinators的博客
03-06 819
RNN从时间和空间两个不同维度来看，主要有两种结构：Recurrent Neural Network(循环神经网络)和RecursiveNeural Network(递归神经网络)。主要对于前者进行学习。循环神经网络是一个在时间上传递的神经网络，网络的深度就是时间的长度。该神经网络是专门用来处理时间序列问题的，能够提取时间序列的信息。如果是前向神经网络，每一层的神经元信号只能够向下一层传播，样本的...
RNN的5种典型结构
ybdesire的专栏
01-27 4305
引入 我已经在文章[1]中介绍了一些序列模型的应用，比如“中文翻译为英文”，“NER命名实体识别”，“歌词生成”，“情绪识别”。 也在文章[2]中介绍了RNN结构的基本原理。 那问题来了，要实现“中译英”和“歌词生成”，我们选用的RNN结构是一样的吗？RNN有哪些典型的结构，分别对应哪些应用场景呢？ RNN的5种典型结构 首先，直接给出RNN的5中典型结构，如下图。 然后我们依次讲解。 1. O...
机器学习和深度学习学习资料专题一
08-13
深度学习已经在计算机视觉、语音识别和自然语言处理等领域取得了显著成就，如卷积神经网络（CNN）在图像识别中的应用，循环神经网络（RNN）在序列数据处理中的作用，以及Transformer模型在NLP任务中的革新。...
Python-现代深度学习技术在自然语言处理中的应用
08-10
在RNN中，每个时间步的输出不仅取决于当前输入，还依赖于前一时间步的隐藏状态，这样可以捕捉到上下文信息。长短期记忆网络（LSTM）和门控循环单元（GRU）是RNN的变种，通过引入门控机制来解决梯度消失和爆炸问题，...
RNN简介
FlyingLittlePig的博客
05-02 997
RNN简介最近由于工作需要，看了一些RNN (Recurrent Neural Networks )的相关资料，对RNN多少有了一些了解。发现一个绝佳的RNN入门tutorial，顺手记录下来。参考博客地址：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/1、什么
RNN概述-深度学习 -神经网络
weixin_30249203的博客
01-20 218
一 RNN概述 前面我们叙述了BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题. 1) BP算法,CNN之后, 为什么还有RNN? 细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等...
RNN, LSTM, GRU模型的作用, 构建, 优劣势比较,attention机制
热门推荐
码python的Vinsmoke
10-29 2万+
1. RNN架构解析 1.1 认识RNN模型 学习目标 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 什么是RNN模型 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 一般单层神经网络结构: RNN单层网络结构: 以时间步对RNN进行展开后的单层网络结构: RNN的循环机制使模型隐层上一时间步产..
RNN review笔记
dream2009gd的专栏
01-06 1224
与其他算法的区别，其他算法考虑样本独立，rnn考虑样本之间有时序，一个单词输入可以作为一个时刻。 一个batch更新权值一次，batch可以理解为句子的长度。 　　首先来看RNN和普通的feed-forward网络有什么不同。RNN的网络框架如下：  　　 　　由结构图可以知道，RNN和feed-forward相比只是中间隐含层多了一个循环的圈而已，这个圈表示上一次隐含层的
Pytorch RNN爬坑指南（维数篇）
weixin_43466027的博客
04-18 385
在实现RNN的时候遇到了一些问题，主要还是各种size没有搞清楚，特开一帖记录一下。 下图是pytorch中的RNN模块的原理图（图片来源见水印）： 在PyTorch中可以使用下面两种方式去调用： torch.nn.RNNCell()，只能接受序列中单步的输入，且必须传入隐藏状态 torch.nn.RNN()，可以接受一个序列的输入，默认会传入全0的隐藏状态，也可以自己申明隐藏状态传入 class RNN(input_size, hidden_size, num_layers=1, bias=True
深度学习笔记 9 循环神经网络（RNN、LSTM）
qq_41134483的博客
10-20 2399
循环神经网络概念，RNN多结构详解，循环神经网络前向传播与反向传播，LSTM，GRU
LSTM学习笔记
omnispace的博客
09-21 908
Long Short-Term Memory（LSTM） 是一种循环神经网络（Recurrent Neural Network, RNN）。跟所有RNN一样，在网络单元足够多的条件下，LSTM可以计算传统计算机所能计算的任何东西。 Like most RNNs, an LSTM network is universal in the sense that given enough netwo
学会区分RNN的output和state
湛蓝的天空
12-19 845
写这篇文章的起因是，有人问调用 outputs, last_state = tf.nn.static_rnn(cell, inputs) 之后，last_state 和 outputs[-1] 相等吗？如果不想等，为什么会不等呢？ 其实这也是学习 RNN 的一大难点。我个人认为，学习 RNN 最难的地方就是弄明白它的输入和输出是什么。一个简单的回答是，对于一个 RNN 单元，它每次接受一个当前输...
python 一个rnn层
06-01
以下是在 Python 中使用 Keras 实现一个简单的 RNN 层的代码示例： ```python from keras.models import Sequential from keras.layers import SimpleRNN model = Sequential() model.add(SimpleRNN(units=64, input_shape=(10, 1))) ``` 这段代码创建了一个包含一个 SimpleRNN 层的模型。该层有 64 个神经元，输入形状为 (10, 1)，其中 10 表示输入序列的长度，1 表示每个时间步的输入特征数。你可以调整 units 和 input_shape 参数来适应你的具体问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值