RNNs

RNNs的目的使用来处理序列数据。在传统的神经网络模型只，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能为力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子只前后单词并不是独立的。

RNNs之所有称为循环神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用与当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNNs能够对任何长度的序列数据进行处理。但是在实践中，为了降低复杂性往往假设当前的状态只与前面的几个状态有关。

RNNs会引导信息从输出单元返回隐藏单元，这些被称为“Back Projections”，并且隐藏层的输入还包括上一隐藏层的状态，即隐藏层内的节点可以自连也可以互连。

对于RNN的训练和对传统的ANN训练是一样的，同样使用BP误差反向传播算法，不过有一点区别。如果将RNNs进行网络展开，那么参数W，U，V是共享的，二传统神经网络却不是的。并且在使用梯度下降算法中，每一步的输出不仅依赖与当前步的网络，并且还来自前面若干步网络的状态。该学习算法称为Backpropagation Through Time(BPTT)。

Simple RNNs：

SRNs是RNNs的一种特例，它是一个三层网络，并且在隐藏层添加了上下文单元，下图只的y便是隐藏层，u便是上下文单元。上下文单元节点与隐藏层只的节点的连接是固定的，并且权值也是固定的，其实是一个上下文节点与隐藏层节点一一对应，并且值是确定的。在每一步中，使用标准的前向反馈进行传播，然后使用学习算法进行学习。上下文每一个节点保存其连接的隐藏层节点的上一步的输出，即上下文，并作用于当前步对应的隐藏层节点的状态，即隐藏层的输入由输入层的输出与上一步的自己的状态所决定的。

Bidirectional RNNs：

双向网络的改进之处在于：假设当前的输出(第t步的输出）不仅仅与前面的序列有关，而且还与后面的序列有关。例如，预测一个语句中缺失的词那么根据上下文来进行预测。Bidirectional RNNs 是一个相对简单地RNNs，是由两个RNNs上下叠加在一起组成的。输出由这两个隐藏层的状态决定。

Echo State Networks

ESNs（回声状态网络）虽然也是一种RNNs，但是与传统的RNNs差别很大。它的核心结构使一个随时生成，且把持不变的储备池，储备池是大规模的，随机生成的，稀疏连接的循环结构（SD通常保持1%——5%，SD表示储备池中互相连接的神经元占总的神经元个数N的比例），其储备池到输出层权值矩阵是唯一需要调整的部分。

其基本思想是：使用大规模随机连接的循环网络取代经典神经网络中的中间层，从而简化网络的训练过程。因此，关键是中间的储备池。网络中的参数包括：W为储备池中节点的连接权值矩阵，Win为输入层到储备池之间的连接权值矩阵，表明与储备池中的神经元是连接的，Wback 为输出层到储备池之间的反馈连接权值矩阵，表明表明储备池会有输出层来的反馈，Wout 为输入层，储备池，输出层到输出层的连接权值矩阵，表明输出层不仅与储备池连接，还与输入层和自己连接。Wbias表示输出层的偏置项。

Gated Recurrent Unit Recurrent Neural Networks

GRUs 也是一般RNNs的改良版本，主要是从以下两个方面进行改良：一是，序列中不同的位置处的单词（以单词举例）对当前的隐藏层状态的影响不同，越前面的影响越小，即每个前面状态对当前的影响进行了加权，距离越远，权值越小。而是，在产生误差error时，在产生误差时，误差可能由某一个或几个单词而引发的，所以应当仅仅对对应的单词weight进行更新。

LSTMs与GRUs类似，与一般的RNNs会结构本质上并没有什么不同，只是使用了不同的函数去计算隐藏的状态。

在LSTMs中，i结构被称为cells，可以把cells看作是黑盒以保存当前输入态，当前的记忆与当前的输入。