GRU（门控循环单元）--学习笔记

0、门控循环单元

门控循环神经网络可以更好地捕捉时间序列中时间步距离较大的依赖关系，通过引入了门的概念，修改循环神经网络中隐藏状态的计算方式，它包括重置门、更新门、候选隐藏状态和隐藏状态。

重置门有助于捕捉时间序列里短期的依赖关系。更新门有助于捕捉时间序列里长期的依赖关系。

1、重置门和更新门

门控循环单元中的重置门（reset gate）和更新门（update gate）的输入均为当前时间步输入 Xt 与上一时间步隐藏状态 Ht−1，输出由激活函数为 sigmoid 函数的全连接层计算得到。

举个例子：

其中：

2、候选隐藏状态

门控循环单元将计算候选隐藏状态来辅助稍后的隐藏状态计算。将当前时间步重置门的输出与上一时间步隐藏状态做按元素乘法（符号为 ⊙）。

如果重置门中元素值接近 0，那么意味着重置对应隐藏状态元素为 0，即丢弃上一时间步的隐藏状态。如果元素值接近 1，那么表示保留上一时间步的隐藏状态。

然后，将按元素