GRU

• GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。
• 和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。
• GRU（2014年提出）LSTM（1997提出）
• 相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率

---

• GRU的输入输出结构与普通的RNN是一样的。

• 在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别是更新门和重置门。
  
  图中的zt和rt分别表示更新门和重置门。
  更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。
  重置门控制前一状态有多少信息被写入到当前的候选集 ℎ̃ 𝑡 上，重置门越小，前一状态的信息被写入的越少。

• 网络的前向传播公式：
  
  其中[]表示两个向量相连，*表示矩阵的乘积。