循环神经网络RNN

前言

在自然语言处理中，如果使用传统神经网络进行训练会面临无法训练出有顺序的数据的问题，也就是在模型搭建时没有考虑数据上下之间的联系。于是一种新的神经网络被被发明出来了，那就是循环神经网络RNN，RNN（Recurrent Neural Network）在处理序列输入时具有记忆性，可以保留之前输入的信息并继续作为后续输入的一部分进行计算。

***传统神经网络模型***

***循环神经网络RNN***

 RNN网络的构造

１、与传统神经网络不同RNN引入了隐状态h,当模型中输入一个值x1,x1会与隐状态h0进行运算

得到h1

h1在经过运算输出y1，注：整个模型最终获取的输出值是最后一个输入的ｘ对应的输出值y

其中 f 为隐函数,U、W、b、V、c为参数.

 2、h1再经过运算从而得到h2

3、h2在与后续传入的x2进行运算,以此类推。理论上讲RNN网络的长度可以无限长,但事实并不是如此。在理论上，RNN绝对可以处理长期依赖问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN则没法太好的学习到这些知识。原因是:梯度会随着时间的推移不断下降减少，而当梯度值变得非常小时，就不会继续学习。

RNN的特点

１、引入了隐状态h（hidden state）的概念，隐状态h可以对序列形的数据提取特征，接着再转换为输出;

2、RNN结构中输入是x1, x2, .....xn，输出为y1, y2, ...yn，也就是说，输入和输出序列必须要是等长的;

3、相对与传统神经网络RNN网络在处理序列输入时具有记忆性，通过隐状态ｈ0-->h1-->...-->hn来实现;

4、权值共享在计算时，每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点；