RNN,LSTM和GPU

---

一、RNN网络（Recurrent Neural Network）

1.1RNN网络模型定义

RNN是一种特殊的神经网络结构，是一类用于处理序列数据的神经网络。与CNN最大的区别在于，它可以处理不同时间点上的数据，各个层之间有一定的联系，不是孤立的卷积网络层。
循环神经网络如下图所示。在一个时间步骤中的每个节点都接收来自上一个节点的输入，并且这可以用一个feedback循环来表示。我们可以深入这个feedback循环并以下图来表示。在每个时间步骤中，我们取一个输入xt_i和前一个节点的输出h_t-i，对其进行计算，并生成一个输出ht_i+1。这个输出被取出来之后再提供给下一个节点。此过程将一直继续，直到所有时间步骤都被评估完成。


工作原理如下：首先单词被转换成机器可读的向量，然后RNN逐个处理向量序列，依次处理到最后一个。

在处理过程中，讲前一个处理好的输出根据权重，传递到下一个网络模块，然后和下一个模块的输入一起进入网络，依次重复此过程完成网络传输。

在向前传播过程中每个单元工作依次按照如下方式进行：

动画演示如下：

首先，将输入和先前隐藏状态组合成一个向量，向量中含有当前输入和先前输入的信息。这个向量再经过激活函数Tanh后，输出新的隐藏状态，或网络记忆。
激活函数Tanh用输出值始终在区间(-1, 1)内。


一个简单的神经网络一般包含输入层、隐藏层和输出层，工作原理如下：

U是输入层到隐藏层的权重矩阵，o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。
整个模型框架计算公式如下：

1.2 RNN模型的缺点

由上图可知，在ht的输出中，包含了x0…xt，h0…ht-1所有的信息，而最远端的x0，h0经过了t次与权值相乘。而RNN的激活函数tanh及其导数的波形如下：

可以看出，tanh输出的数值是<=1的。如果权值W小于1，在重复多次相乘后，最终权值趋近于0；如果权值W大于1，则重复多次相乘后趋近于无穷大，而无穷大的梯度放在tanh中只会无限趋近于1。这种趋近于0或1的现象被称为梯度消失（梯度弥散）与梯度爆炸。因此，对于长链的时间序列，远端的数值点对于现在的输出起不到任何作用，这个现象称为长期依赖。

二、LSTM网络（Long Short Term Memory）

2.1 LSTM原理

RNN受限于短期记忆问题。如果一个序列足够长，那它们很难把信息从较早的时间步传输到后面的时间步。因此，如果你尝试处理一段文本来进行预测，RNN可能在开始时就会遗漏重要信息。在反向传播过程中，RNN中存在梯度消失问题。在这种情况需要一种长记忆网络，RNN改进型网络LSTM和GRU就诞生。

LSTM和GRU网路引入“门”概念，通过门对相关信息进行选取，判定哪些是重要形象，需要保留，哪些需要丢弃。LSTM和GRU经常用在语音识别、语音合成和文本生成等领域，还可用来为视频生成字幕。
举个例子：今天下午天气很好，我们去打羽毛球。听到或看到这句话后，我们会第一时间捕捉主要信息“下午”，“天气好”，“打篮球”，会舍弃不重要的信息“我们”，“去”等。LSTM和GRU工作原理类似。它可以学习只保留相关信息来进行预测，并忘记不相关的数据。
LSTM核心是单元模块和“门”电路结构。单元模块用于将信息逐一向后续传播，在传播过程中携带相关信息，从而保证信息的有效性和持续性。门电路用于对现象进行甄别和筛选，丢掉无用信息，保留有效信息。在此处采用电路中的建模方式，0表示舍弃，1表示保留信息，因此在此处采用sigmod函数，该函数的取值（0，1）.这有助于更新或忘记数据，因为任何数字乘以0都为0，这部分信息会被遗忘。同样，任何数字乘以1都为相同值，这部分信息会完全保留。通过这样，网络能了解哪些数据不重要需要遗忘，哪些数字很重要需要保留。

LSTM拥有三个门：输入门、遗忘门、输出门。

输入门和输出门，顾名思义就是输入和输出。遗忘门用于对信息进行取舍和保留。

输入门：
输入门用来更新单元状态。先将先前隐藏状态的信息和当前输入的信息输入到Sigmoid函数，在0和1之间调整输出值来决定更新哪些信息，0表示不重要，1表示重要。你也可将隐藏状态和当前输入传输给Tanh函数，并在-1和1之间压缩数值以调节网络，然后把Tanh输出和Sigmoid输出相乘，Sigmoid输出将决定在Tanh输出中哪些信息是重要的且需要进行保留。

输出门：
输出门能决定下个隐藏状态的值，隐藏状态中包含了先前输入的相关信息。当然，隐藏状态也可用于预测。首先把先前的隐藏状态和当前输入传递给Sigmoid函数；接着把新得到的单元状态传递给Tanh函数；然后把Tanh输出和Sigmoid输出相乘，以确定隐藏状态应携带的信息；最后把隐藏状态作为当前单元输出，把新的单元状态和新的隐藏状态传输给下个时间步。

单元模块：
这里已经具备足够信息来计算单元状态。首先把先前的单元状态和遗忘向量逐点相乘，如果它乘以接近0的值，则意味在新的单元状态中可能要丢弃这些值；然后把它和输入门的输出值逐点相加，把神经网络发现的新信息更新到单元状态中，这样就得到了新的单元状态。
LSTM核心为两条主线一个门：一条记忆线，一条输出线，一个门。


σ为决定门（sigmoid）。根据C的情况，决定A中保留多少，对A进行筛选后输出为B。

2.2 LSTM缺点

一个神经元中存在3个门，相当于每个神经元都是原来RNN计算量的3倍以上，十分浪费算力。
无法对不等长序列数据进行处理。

三、GRU网络

GRU结构中去除了单元状态，而使用隐藏状态来传输信息。它只有两个门结构，分别是更新门和重置门。

重置门（reset gate）：决定丢弃先前信息的程度.
更新门（update gate）:类似于LSTM中的遗忘门和输入门，它能决定要丢弃哪些信息和要添加哪些新信息。

四、 LSTM vs GRU差异

LSTM和GRU并没有明显的准确率上的区别
GRU比起LSTM来，参数更少，运算更快，仅此而已。
所以，在实际应用中，我们用LSTM做default方法，如果追求更高的性能，就换成GRU

五、总结

RNN适用于处理序列数据和预测任务，但会受到短期记忆的影响。LSTM和GRU是两种通过引入门结构来减弱短期记忆影响的演化变体，其中门结构可用来调节流经序列链的信息流。目前，LSTM和GRU经常被用于语音识别、语音合成和自然语言理解等多个深度学习应用中。