RNN（Recurrent Neural Network）循环神经网络

**RNN（Recurrent Neural Network）
  在传统的全连接神经网络中，从输入层到隐藏层再到输出层，每一层之间的节点是无连接的，因为输入和输出是独立的，所以这种普通的神经网络对于序列数据的处理是无能为力的。而现实中，绝大多数的数据都是序列数据，比如音频、视频、文本等，都存在时间线，想要挖掘数据中的序列信息和语义信息，就需要神经网有更加特殊的结构，比如对于序列信息每一时刻的信息记忆能力。因此，RNN（Recurrent Neural Network）循环神经网络就应运而生，RNN循环神经网络相对于普通的全连接神经网络，其隐藏层多了一个信息记忆功能，即每一时刻隐藏层的输入不仅是输入层的输出，还包含上一时刻隐藏层的输出。所以，输出层每一时刻的输出都会考虑序列数据之前的信息。RNN在自然语言处理、图片描述、语音识别等领域有着广泛的应用。
RNN的网络结构及前向传播

  RNN的网络结构按时间展开如上图所示，其中x表示输入层、o表示输出层、s表示隐藏层，U、V、W表示权重参数。
  以t时刻为例，隐藏层st的输入除了当前时刻输入层的输出xt，还包含上一时刻隐藏层的输出状态st-1。RNN中隐藏层可以完成对信息的记忆，理论上RNN每一时刻的隐藏层都可以完成对上一时刻信息的记忆，也就是说在理论上RNN的隐藏层可以对信息无限记忆，处理任意长度的序列数据，但是在实际中会存在梯度消失或者梯度爆炸的问题，因此，在RNN中隐藏层st完成的只是信息的短时记忆。
RNN中前向传播过程可以用如下公式表示：

  式子1中，ot表示t时刻输出层的输出，g（）表示输出层中神经元的激活函数，V表示t时刻隐藏层输出到输出层对应的权重参数；
  式子2中，st表示隐藏层t时刻的输出，f（）表示隐藏层中神经元的激活函数，xt表示t时刻输入层的输出，st-1表示上一时刻隐藏层的输出，U表示输入层到隐藏层对应的权重参数，W表示上一时刻隐藏层输出到t时刻隐藏层的权重参数；
  从上面的公式可以看出，RNN循环神经网络与普通的全连接神经网络相比，隐藏层多了一个权重矩阵W。
  如果把式子2反复带入式子1中，可以得到：

  从上面的结果可以看到，RNN中每一时刻的输出ot都是受前面历次输入xt、xt-1、xt-2……影响的，这也就是为什么说RNN可以处理序列数据的原因。
RNN参数计算
  RNN中隐藏层参数（包括权重参数、偏置项）
     隐藏层参数 =（h + x）* h + h
  其中，h是隐藏层输出的状态向量的维度（该维度和隐藏层神经元个数一致），x是输入层的输出向量维度，（h + x）* h 是权重参数，h是隐藏层中偏置项个数。
RNN长期依赖
  RNN的训练过程和全连接神经网络一样，都是采用反向传播算法通过计算梯度来更新参数。但是在RNN训练过程中会存在长期依赖问题，这是由于RNN在训练时会遇到梯度消失或者梯度爆炸，所谓梯度消失和梯度爆炸是指在训练时计算和反向传播时，梯度在每一时刻都是倾向于