LSTM变种模型

一、GRU

1.概念

GRU（门控循环单元，Gated Recurrent Unit）是一种循环神经网络（RNN）的变体，旨在解决标准 RNN 在处理长期依赖关系时遇到的梯度消失问题。GRU 通过引入门控机制简化了 LSTM（长短期记忆网络）的设计，使得模型更轻便，同时保留了 LSTM 的优点。

2.原理

2.1.两个重大改进

1.将输入门、遗忘门、输出门三个门变为更新门（Updata Gate）和重置门（Reset Gate）两个门。

2.将 (候选) 单元状态 与 隐藏状态 (输出) 合并，即只有 当前时刻候选隐藏状态 和 当前时刻隐藏状态 。

2.2模型结构

简化图：

内部结构：

GRU通过其门控机制能够有效地捕捉到序列数据中的时间动态，同时相较于LSTM来说，由于其结构更加简洁，通常参数更少，计算效率更高。

2.2.1 重置门

重置门决定在计算当前候选隐藏状态时，忽略多少过去的信息。

2.2.2 更新门

更新门决定了多少过去的信息将被保留。它使用前一时间步的隐藏状态 ( h_{t-1} ) 和当前输入 ( x_t ) 来计算得出。

2.2.3 候选隐藏状态

候选隐藏状态是当前时间步的建议更新，它包含了当前输入和过去的隐藏状态的信息。重置门的作用体现在它可以允许模型抛弃或保留之前的隐藏状态。

2.2.4 最终隐藏状态

最终隐藏状态是通过融合过去的隐藏状态和当前候选隐藏状态来计算得出的。更新门 ​控制了融合过去信息和当前信息的比例。