RNN变体

LSTM和GRU学习笔记

1. LSTM（长短时记忆网络）

1.1 LSTM的结构

LSTM在RNN的基础上引入了长短时记忆单元（Long Short-Term Memory），通过门控机制对信息进行筛选和保留，从而有效地解决梯度消失和长依赖问题。

具体来说，LSTM的结构由以下三个门控组成：

• 输入门（input gate）：控制哪些信息可以进入记忆单元
• 遗忘门（forget gate）：控制哪些信息需要从记忆单元中被清除
• 输出门（output gate）：控制哪些信息可以输出

此外，LSTM还引入了一个细胞状态（cell state），用于存储长期记忆信息。

1.2 LSTM的计算过程

LSTM的计算过程可以分为以下几步：

1. 输入门控制输入信息的筛选与保留：

$$i_t=\sigma (W_{xi}{x}_t+W_{hi}{h}_{t-1}+b_i)$$

其中，$i_t$表示当前输入信息经过输入门后保留的比例，$\sigma$为Sigmoid函数。

2. 遗忘门控制记忆单元中的信息清空：

$$f_t=\sigma (W_{xf}{x}_t+W_{hf}{h}_{t-1}+b_f)$$

其中，$f_t$表示当前信息需要清空的比例。

3. 更新细胞状态：

$$C_t=f_t\odot C_{t-1}+i_t\odot \tanh (W_{xc}{x}_t+W_{hc}{h}_{t-1}+b_c)$$

常把$i_t\odot \tanh (W_{xc}{x}_t+W_{hc}{h}_{t-1}+b_c)$ 记作$\widetilde{C_t}$

其中，$\odot$表示逐元素相乘， $\tanh$为双曲正切函数。

4. 输出门计算输出：

$$o_t=\sigma (W_{xo}{x}_t+W_{ho}{h}_{t-1}+b_o)$$

$$h_t=o_t\odot \tanh (C_t)$$

其中，$o_t$为输出门控制输出比例， $h_t$为当前时间步的隐藏状态，$W_{xo}$、$W_{ho}$、$b_o$为输出门参数。

1.3 LSTM的优缺点

优点：

• 可以较好地处理长序列依赖问题。即学习长期依赖问题。
• 学习能力较强，对于文本、音频等序列信号具有很好的表达能力。
• 对于数据中的噪声和冗余信息具有很好的鲁棒性。

缺点：

• 计算复杂度较高，训练时间较长。
• 参数较多，容易过拟合。

2. GRU（门控循环单元）

2.1 GRU的结构

GRU是在LSTM的基础上发展而来的，相比于LSTM，GRU的结构更加简单，只有两个门控机制。

• 更新门（update gate）：决定前一时刻的状态是否需要更新。
• 重置门（reset gate）：决定前一时刻的状态中需要清除的信息。

2.2 GRU的计算过程

GRU的计算过程可以分为以下几步：

1. 更新门计算：

$$z_t=\sigma (W_{xz}{x}_t+W_{hz}{h}_{t-1}+b_z)$$

其中，$z_t$表示当前状态需要更新的比例。

2. 重置门计算：

$$r_t=\sigma (W_{xr}{x}_t+W_{hr}{h}_{t-1}+b_r)$$

其中，$r_t$表示当前状态需要重置的比例。

3. 候选隐层状态计算：

$$\widetilde{h_t}=\tanh (W_{x\tilde{h}}{x}_t+W_{h\tilde{h}}(r_t\odot h_{t-1})+b_{\tilde{h}})$$

其中，$\widetilde{h_t}$为候选隐层状态。

4. 更新当前状态：

$$h_t=(1-z_t)\odot h_{t-1}+z_t\odot \widetilde{h_t}$$

2.3 GRU的优缺点

优点：

• 参数较少，计算复杂度低。
• 能够处理长序列依赖问题。
• 训练时间较短。

缺点：

• 表达能力较弱，可能无法处理复杂的序列数据。
• 对于数据中的噪声和冗余信息不够鲁棒。