GRU 门控循环单元

自闭自闭自闭了

已于 2023-05-13 15:04:24 修改

阅读量792

点赞数 1

文章标签： gru 深度学习

于 2023-05-11 14:04:42 首次发布

本文链接：https://blog.csdn.net/weixin_51606521/article/details/130619607

版权

门控循环单元（GRU）是深度学习中的一个重要组件，它包含重置门和更新门。重置门负责决定遗忘先前信息的程度，处理短期依赖关系，而更新门则在长期依赖关系中发挥作用，平衡新旧信息的结合。这两个门机制帮助GRU在处理序列数据时更有效地捕捉时间依赖性。

摘要由CSDN通过智能技术生成

深度学习 3 2023.5.11

前言

门控循环单元。与LSTM结构相近，主要就是两个门，重置门和更新门。

一、重置门

重置门用于决定遗忘先前信息的程度。

重置门控制了上一时间步的隐藏状态如何流入当前时间步的候选隐藏状态。而上一时间步的隐藏状态可能包含了时间序列截至上一时间步的全部历史信息。

$r_t = \sigma(W_r \cdot [h_{t-1}, x_t])$

二、更新门

更新门的作用类似于 LSTM 中的遗忘门和输入门。它决定了要忘记哪些信息以及哪些新信息需要被添加。首先通过重置门，得到 $r_t$ 用来决定历史的状态向量 $h_{t-1}$ 哪些该保留哪些该遗忘，然后通过 $r_t,h_{t-1},x_t$ 得到新的候选隐藏状态 $\widetilde{h_t}$ ，门控循环单元将计算候选隐藏状态来辅助后面的隐藏状态计算。

$\\z_t = \sigma(W_z\cdot[h_{t-1},x_t]) \\ \widetilde{h_t} = tanh(W\cdot[r_t*h_{t-1}, x_t])$

三、隐藏状态

$\\ h_t = (1-z_t)*h_{t-1} + z_t*\widetilde{h_t}$

重置门有助于捕捉时间序列中的短期依赖关系，因为它决定了在当前时间步中，模型是否应该忽略之前的状态信息并更新为新的状态信息。在序列数据中，短期依赖关系指的是在相邻的时间步之间存在的相关性，因此重置门允许模型在每个时间步中重新考虑之前的状态信息，并对新的输入进行适当调整，从而更好地捕捉这些短期依赖关系。

更新门有助于捕捉时间序列中的长期依赖关系，因为它可以决定当前时间步的状态信息中应该包含多少旧信息和多少新信息。在序列数据中，长期依赖关系指的是在时间步之间存在较长的相关性，需要保留之前的状态信息以便更好地预测后续的输出。更新门允许模型在每个时间步中平衡当前状态的信息量，从而更好地捕捉这些长期依赖关系。