RNN #博学谷IT学习技术支持#

一、RNN模型简介

1定义

     Rnn， recurrent neural network，循环神经网络，一般以序列数据(比如，一句话，一段录音)为输入， 通过网络内部的结构有效捕捉 序列之间的关系特征，一般也是以序列系列形式输出。

2 网络结构

一般是单层神经网络结构，Rnn的循环机制,使得模型也从上一时间步产生的结果 h(t-1)，能够作为当下时间步输入的一部分。也就是当下时间不输入有两部分，一个是正常的输入 x(t)，另一个是h(t-1)。

3 模型的作用

R能很好的利用训练之间的关系，因此对自然界连续的输入序列，如人类的语言，语音等进行很好的处理，广泛应用于自然语言处理领域的各项任务。如文本分类， 情感分析，意图识别，机器翻译等。

4 举例

比如我们现在的人机交互。比如跟小度交流，问小度几点了？小度就能够分析，这是一个时间问题。并且回答一个时间。

第一步，用户输入了what time is it？首先对他进行基本的分词。因为rnn是按照顺序工作的，每次只接收一个单词进行处理。

第二步，首先将单词what输入给rnn，产生一个输出Output1

第三步，继续将单词time输入给rnn，此时的不仅有产生的输出output2， 还会使用来自上一层隐藏输出output1作为输入，

第四步，重复这样的步骤，直到处理完所有的分词。

第五步，最后将最终的隐层输出output5，进行处理来分析用户意图。

二 RNN模型分类

n对n ，输入和输出序列是等长的。可用于生成等长度的诗句。每个时间部都有两个输入(一个是新来的输入X1，另外一个是隐藏层的输入h1），一个输出。

n对1，输入的是一个序列，要求输出的是一个单独的值，而不是序列。我们只要在最后一个隐藏输出h上，进行线性变换就可以，一般使用sigmoid或者softmax进行处理。经常被用在文本分类上。例如用户的意图识别，说一句话，机器能够分析出用户问的是什么问题？问的是天气？还是美食？还是新闻？

1对n，唯一的一个输入，对应n个输出。常用它解决，看图说话。比如有一张图片作为输入，输出可能就是，有一个小狗在吃饭。

n对m，被称为seq2seq架构，有编码器和解码器两部分组成。两者的内部结构都是某类RNN，编码器，是n对1 RNN，解码器是1对m RNN，输入的数据首先通过编码器最终输出一个隐含变量c，之后最常用的做法就是用这个隐含变量c，作用在解码器的每一步解码上，保证输入的信息被有效利用。