门控循环单元

在构造隐藏状态中，可以选择某一块是否重要。

在这里有两种门，一种是就是这个数据比较重要，要用他尽量去更新我们的隐藏状态。另外一个叫做重置门，就是说输入或者隐藏状态的一些东西不重要，我们可以忘记一些东西。

两个门的输出是由使用sigmoid激活函数的两个全连接层给出。Rt为重置门，Zt为更新门。

候选隐状态：当重置门中的项接近1时， 我们恢复一个普通的循环神经网络。 对于重置门中所有接近的项0， 候选隐状态Xt是以作为输入的多层感知机的结果。在更新新的隐藏状态的时候，需要使用多少上次的隐藏状态。

每当更新门Zt接近1时，模型就倾向只保留旧状态。 此时，来自的信息基本上被忽略， 从而有效地跳过了依赖链条中的时间步。 相反，当Zt接近时0， 新的隐状态Ht就会接近候选隐状态。是否选择本次计算的结果，还是上次隐藏层的数据。在计算真正的隐藏层状态的时候，需要使用当前关于Xt的多少信息。