GRU

GRU也是循环神经网络的一种，和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用GRU。

GRU和LSTM一样，有一个当前的输入xt，和上一个节点传递下来的隐状态ht-1，结合xt和ht-1，geu会得到当前隐藏节点的输出yt和传递给下一个节点的隐状态ht。那么，如此看来gru和lstm并没有什么差异，它的特别之处在哪呢？

我们先看看GRU的内部结构：

 

 

 这里的h' 主要是包含了当前输入的xt 数据。有针对性地对 h' 添加到当前的隐藏状态，相当于“记忆了当前时刻的状态”，类似于LSTM的选择记忆阶段。

最后介绍GRU最关键的一个步骤，我们可以称之为”更新记忆“阶段。

 

 

 以上的图片其实很清楚的展示了GRU的内部结构，我们可以看到若reset门为1，update门为0时，则gru完全退化为一个RNN。

一般认为，lstm和gru之间并没有明显的优胜者。因为gru具有较少的参数，所以训练速度快，且需要的样本也较少。而lstm具有较多的参数，比较适合具有大量样本的情况，可能会获得较优的模型。