RNN和LSMT

RNN

具有循环的网络，允许信息持续存在。一个循环神经网络可以被认为是同一个网络的多个副本，每一个都传递一个消息给后继者。即先前的信息对之后的判断仍会提供帮助。

所有循环神经网络都具有神经网络的重复模块链的形式。 在标准的RNN中，该重复模块将具有非常简单的结构，例如单个tanh层。

不幸的是，随着距离的增加，RNN无法有效的利用历史信息。

LSMT

长短记忆神经网络——通常称作LSTM，是一种特殊的RNN，能够学习长的依赖关系。

与RNN重复模块链的简单的一层相比，LSTM拥有四层，这四层以特殊的方式进行交互。“忘记门” Sigmoid层实现 -> 存储 tanh层 创建候选向量Ct -> 更新 将上一个状态值Ct−1更新为Ct -> 输出 

运行一个sigmoid层，它决定了我们要输出的细胞状态的哪些部分。 然后，我们将单元格状态通过tanh（将值规范化到-1和1之间），并将其乘以Sigmoid门的输出，至此我们只输出了我们决定的那些部分。

 

 

参考http://colah.github.io/posts/2015-08-Understanding-LSTMs/