Recurrent Neural Network（循环神经网络）

最新推荐文章于 2023-09-28 08:09:14 发布
最新推荐文章于 2023-09-28 08:09:14 发布
阅读量1.2k 收藏 3
点赞数 1
分类专栏： 李宏毅机器学习 文章标签： rnn 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51426525/article/details/130881223
版权

目录

Slot Filling with RNN

Elman Network & Jordan Network

Bidirectional RNN

LSTM(Long Short-term Memory)

Example

Learning Target

LSTM

GRU (Gated Recurrent Unit)

More Applications

Many to One

Many to Many

Speech Recognition

Sequence to Sequence Learning

Seq2Seq for Syntatic Parsing

Seq2Seq for Auto-encoder Text

Seq2Seq for Auto-encoder Speech

Attention-based Model

循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。

循环神经网络具有记忆性、参数共享并且图灵完备（Turing completeness），因此在对序列的非线性特征进行学习时具有一定优势。

Slot Filling with RNN

第一次输入时，通过隐藏层输出，同时输入会被存放在memory中；当第二次输入时，会经过隐藏层和memory运算后输出，同时memory和输入进行运算并更新memory中的值，以此类推。

即使输入是相同的地点，可以根据前文的“leave”或“arrive”得到不一样的输出。

Elman Network & Jordan Network

Elman Network：将hidden layer的输出保存在memory里。

Jordan Network：将整个neural network的输出保存在memory里。

Bidirectional RNN

RNN 还可以是双向的，可以同时训练一对正向和反向的RNN，把它们对应的hidden layer 拿出来，都接给一个output layer。使用双向RNN的好处是，在产生输出的时候，它能够看到比较广的范围。

LSTM(Long Short-term Memory)

LSTM有三个gate：input gate、output gate和forget gate。整个LSTM可以看做是4个input，1个output：

Input: 想要被存到memory cell里的值以及三个gate的控制信号。

Output：想要从memory cell中被读取的值。

Example

当x2=1,把x1的值写入memory；当x2=-1,将memory的数值清零；当x3=1,将memory的值输出。

下图是单个LSTM的运算情景

下图是同一个LSTM在两个相邻时间点上的情况

Learning Target

RNN的损失函数就是输出yi与对label之间的交叉熵，对于RNN的训练也是采用梯度下降的方法，为了计算方便，采取了Backpropagation through time，简称BPTT算法。但是，RNN训练并不容易。因为RNN的Error Surface在某些地方非常平坦，在某些地方又非常的陡峭。这就会导致loss有时会剧烈变化。想要解决这个问题，可以采用Clipping方法，当gradient即将大于某个threshold的时候，就让它停止增长。

从下图可知，RNN的Error Surface中的“悬崖”出现的原因是，关于memory的参数w的作用随着时间增加不断增强，导致RNN出现梯度消失或梯度爆炸的问题。 

LSTM

LSTM会删除error surface上那些比较平坦的地方，从而解决梯度消失的问题，但它无法处理那些崎岖的部分，因而也就无法解决梯度爆炸的问题，所以，训练LSTM时需要将学习率调得特别小。

在RNN中，每个时间点memory中的旧值都会被新值覆盖，导致w对memory的影响每次都被清除，进而引发梯度消失。

在LSTM中，每个时间点memory里的旧值都会通过激活函数与新值相加，只有在forget gate被关闭时w对memory的影响才会被清除。

GRU (Gated Recurrent Unit)

GRU最大的优势就是简单（只有两个门），计算开销小，更加适用于大规模数据集。GRU会把input gate和forget gate连起来，当forget gate把memory里的值清空时，input gate才会打开，再放入新的值。

其中 rt表示重置门（reset gate），zt表示更新门（update gate）。

此外，还有很多技术可以用来处理梯度消失的问题，比如Clockwise RNN、SCRN等

More Applications

Many to One

输入是1个vector sequence，输出是1个vector。

  1. Sentiment Analysis：我们可以把某影片相关的文章爬下来，并分析其正面情绪or负面情绪。

Key Term Extraction：输入是1篇文章等，输出是几个关键词。

Many to Many

输入和输出都是sequence，但输出更短。

Speech Recognition

输入是一段声音信号，每隔一小段时间就用1个vector来表示。但“好棒”和“好棒棒”实际上是不一样的，如何区分呢？需要用到CTC算法，它的基本思想是，输出不只是字符，还要填充NULL，输出的时候去掉NULL就可以得到连词的效果

Sequence to Sequence Learning

在Seq2Seq中，RNN的输入输出都是sequence，但是长度不同。

比如现在要做机器翻译，将英文的word sequence翻译成中文的character sequence。如果想要停止，就把可以多加一个叫做“断”的symbol “===”，当输出到这个symbol时，机器就停止输出。

Seq2Seq for Syntatic Parsing

Seq2Seq还可以用在句法解析上，让机器看一个句子，它可以自动生成树状的语法结构图。

Seq2Seq for Auto-encoder Text

考虑了语序的情况下，把文章编码成vector，只需要把RNN当做编码器和解码器即可。

Seq2Seq for Auto-encoder Speech

Seq2Seq autoencoder还可以用在语音处理上，它可以把一段语音信号编码成vector。

Attention-based Model

除了RNN之外，Attention-based Model也用到了memory的思想。机器会有自己的记忆池，神经网络通过操控读写头去读或者写指定位置的信息，这个过程跟图灵机很像，因此也被称为Neural Turing Machine。

 

 

 

 

 

 

 

keep--learning
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【DL学习笔记】3：循环神经网络(Recurrent Neural Network)
01-20
1 序列数据表示 1.1 简述 语音、文字等有先后顺序，属于序列数据，将序列据表达为能处理的形式就叫Sequence Representation。如对文字而言，PyTorch中没有对string的支持，所以要将其表示成数值形式，相应的方法就是...
Building a Recurrent Neural Network - Step by Step
05-27
《构建循环神经网络——逐步指南》是Andrew Ng在Coursera上深度学习课程中的第一周第一节内容，专注于介绍如何从零开始搭建一个循环神经网络（RNN）。在本节课程中，你将深入理解RNN的基本结构、工作原理以及如何在...
循环神经网络 Recurrent Neural Network ｜ RNN
JasonH2021的博客
07-07 5341
简单介绍了循环神经网络的基本概念，应用场景，优缺点，建模过程，类库方法和代码案例等
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 52万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
深度学习-神经网络-循环神经网络（一）：RNN（Recurrent Neural Network，循环神经网络；1990年）
u013250861的博客
07-21 1万+
为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络（Recurrent Neural Net
循环神经网络（Recurrent Neural Networks，RNN）模型深度学习
最新发布
aguyuc1的博客
09-28 384
在实际应用中，让我们来看一个机器翻译的案例。最终，我们得到了显著的翻译效果提升，相比传统的统计机器翻译方法，循环神经网络的翻译准确率更高，且生成的翻译文本更加流畅自然。本文将介绍循环神经网络的基本概念、工作原理、应用场景以及与其他神经网络的区别，并通过具体案例分析其应用和效果，以期让读者对循环神经网络有更深入的理解和认识。虽然循环神经网络还存在一些挑战，如长序列处理的梯度消失问题等，但是随着技术的不断进步和研究者的不懈努力，相信未来循环神经网络将在更多领域发挥更大的作用，为解决实际问题提供更多帮助。
循环神经网络（Recurrent Neural Network, RNN）
qq_41536160的博客
05-29 5346
基本概念 一般的神经网络(BP以及CNN)只对预先确定的大小起作用：它们接受固定大小的输入并产生固定大小的输出。它们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果。但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了。 循环神经网络 (Recurrent Neural Network, RNN) 一般是指时间递归神经网络而非结构递归神经网络 (Recursive Neura
循环神经网络语言模型.pdf
08-14
循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network） [1] 。...
循环神经网络进阶
01-06
门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU）是一...
Matlab实现循环神经网络RNN
12-02
循环神经网络（Recurrent Neural Network，RNN）是深度学习领域中一种特殊的神经网络结构，尤其适用于处理序列数据，如自然语言、时间序列预测等。在Matlab中实现RNN，可以帮助我们理解其工作原理，并在实际问题中...
Recurrent Neural Networks Tutorial (RNN)
01-29
本文是在自然语言处理上应用比较好的深度网络RNN，包含RNN的入门讲解、代码实现
Generating Sequences With Recurrent Neural Networks（英文原版）
07-04
一篇较好的描述seq2seq模式的英文资料。This paper shows how Long Short-term Memory recurrent neural net- works can be used to generate complex sequences with long-range struc- ture, simply by predicting one data point at a time. The approach is demonstrated for text (where the data are discrete) and online handwrit- ing (where the data are real-valued). It is then extended to handwriting synthesis by allowing the network to condition its predictions on a text sequence. The resulting system is able to generate highly realistic cursive handwriting in a wide variety of styles.
Recurrent Neural Networks
11-18
深度学习暑期课件 Recurrent Neural Networks Deep Learning Summer School 2016 Yoshua Bengio Montreal Ins<tute for Learning Algorithms Université de Montréal
Recurrent Neural Networks for Prediction(pdf)
10-15
Recurrent Neural Networks for Prediction offers a new insight into the learning algorithms, architectures and stability of recurrent neural networks and, consequently, will have instant appeal. It provides an extensive background for researchers, academics and postgraduates enabling them to apply such networks in new applications.
循环神经网络(Recurrent Neural Network)
醉蕤的博客
08-24 919
循环神经网络(Recurrent Neural Network)
Recurrent neural network（循环神经网络）
Mr_Suda的博客
11-27 2073
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。在bert，transformer没有问世以前，RNN在NLP任务中的运用是十分广泛的。为此也诞生了许多基于RNN的模型，例如我们常常提到的LSTM等等。在这里我们先介绍最简单的RNN模型，simple-RNN。 1.RNN的模型结构 上图所展示的便是一个单层（单向）的RNN的结构。在结构中我们可以看到，一个单层的RNN的模型可以看成由三个部分组成：输入层，隐藏层和输出层。这里我们按照图中所示，将X_t赋给.
Recurrent neural network (RNN)
weixin_44593531的博客
03-25 346
What is the Recurrent Neural Network? Defination A recurrent neural network (RNN) is a class of artificial neural network where connections between nodes form a directed graph along a temporal sequence. The sturcture of RNN A recurrent neural network compr
RNN循环神经网络（recurrent neural network）
baochunlei1的博客
07-05 1476
自己开发了一个股票智能分析软件，功能很强大，需要的点击下面的链接获取： https://www.cnblogs.com/bclshuai/p/11380657.html 1.1 RNN循环神经网络（recurrent neural network） 1.1.1 RNN简介 RNN循环神经网络会循环的加入上一时刻的状态作为输入，得出下一时刻的输出。解决的是具有时序关联性的问题，例如股票趋势预测，需要上一时刻的股票价格输入作为下一时刻的输出，又比如输入预测，当你输入I amstu...
RNN循环神经网络Recurrent Networks
GarfieldEr007的专栏
04-04 1577
Recurrent Networks I Consider the following two networks:      (Fig. 1) The network on the left is a simple feed forward network of the kind we have already met. The right hand network has an addit
recurrent neural network
03-16
递归神经网络 (Recurrent Neural Network, RNN) 是一种特殊的神经网络，其具有记忆能力，能够处理具有时间序列特征的数据。 RNN 通过在网络中循环...常见的 RNN 结构包括循环神经网络 (RNN) 和长短时记忆网络 (LSTM)。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值