GRU（Gated Recurrent Neural Network）

当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。

门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU）是一种常用的门控循环神经网络。

1）门控循环单元

引入了重置门（reset gate）和更新门（update gate）的概念，从而修改了循环神经网络中隐藏状态的计算方式： 

2）候选隐藏状态

门控循环单元将计算候选隐藏状态来辅助稍后的隐藏状态计算。

将当前时间步重置门的输出与上一时间步隐藏状态做按元素乘法（符号为⊙⊙）。如果重置门中元素值接近0，那么意味着重置对应隐藏状态元素为0，即丢弃上一时间步的隐藏状态。如果元素值接近1，那么表示保留上一时间步的隐藏状态。然后，将按元素乘法的结果与当前时间步的输入连结，再通过含激活函数tanh的全连接层计算出候选隐藏状态，其所有元素的值域为[−1,1]。

重置门控制了上一时间步的隐藏状态如何流入当前时间步的候选隐藏状态。而上一时间步的隐藏状态可能包含了时间序列截至上一时间步的全部历史信息。因此，重置门可以用来丢弃与预测无关的历史信息。 

3）隐藏状态

* 重置门有助于捕捉时间序列里短期的依赖关系

* 更新门有助于捕捉时间序列里长期的依赖关系

4）实现

在PyTorch中我们直接调用nn模块中的GRU类即可

小结：

①门控循环神经网络可以更好地捕捉时间序列中时间步距离较大的依赖关系。

②门控循环单元引入了门的概念，从而修改了循环神经网络中隐藏状态的计算方式。它包括重置门、更新门、候选隐藏状态和隐藏状态。

③重置门有助于捕捉时间序列里短期的依赖关系。

④更新门有助于捕捉时间序列里长期的依赖关系。