原 Tensorflow 实战Google深度学习框架之循环神经网络

RNN
循环神经网络在语音识别，语言模型，机器翻译以及时序分析等方面实现了突破，主要用于处理和预测序列数据，从网络结构上循环神经网络会记忆之前的信息。并利用之前信息的影响后面的节点的输出。
循环神经网络的隐藏层之间的结点是有连接的隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。
卷积神经网络不同空间位置共享参数，循环神经网络是在不同空间位置共享参数，循环神经网络是在不同时间位置共享参数

循环神经网络要求每一时刻独有一个输入，但不一定每个时间度需要有输出
长短时间记忆网络LSTM
有用信息的间隔有大有小，长短不一循环神经网络性能受影响
LSTM有三个门结构

循环神经网络的变种
双向循环神经网络是由两个独立的循环神经网络叠加在一起的，输出由两个循环神经网络的输出拼接而成
因为当前时刻的输出不仅和之前的状态有关，也和之后的状态有关。这时就需要根据前文来判断，同时需要后面的内容。例子就像选择填空一样需要前后度进行分析。
深层循环神经网络是每一时刻的输入xt到输出ot之间有L个循环体。网络因此可以输入中抽取更加高层额信息。
dropout 可让网络更加健壮，只在最后的全连接层中使用dropout。而在同一时刻t中，不同层循环体之间会使用dropout。