深度学习RNN

RNN是基本的序列处理模型，主要应用于自然语言处理。与传统神经网络不同的是，它考虑了之前输入的信息，依赖于神经网络在上一周期所产生的输出。

RNN可以看做是若干个由输入层，记忆单元h，输出层的连接，在每一组的连接上都有一个参数W用于传输上一周期的输出结果。

随着序列的不断推进，前面的隐层将会影响后面的隐层；损失函数也会随着序列的推进而不断积累。

除上述特点之外，标准RNN的还有以下特点：
1、权值共享，图中的W全是相同的，U和V也一样。
2、每一个输入值都只与它本身的那条路线建立权连接，不会和别的神经元连接。