『RNN 监督序列标注』笔记-第四章 LSTM（Long Short-Term Memory）

『RNN 监督序列标注』笔记-第四章 LSTM（Long Short-Term Memory）

标准 RNN 在实际使用中能够有效利用的上下文范围很有限，这是由于经过若干次迭代，隐含层权重值要么消失要么爆炸。Long Short-Term Memory (LSTM)结构解决了这一问题。

网络结构

LSTM 具有记忆单元，每个单元含有记忆细胞和3个倍增单元（输入、输出以及遗忘门）。如图所示：

展示了一个 LSTM 网络结构，包含4个输入，5个输出，2个 LSTM 记忆细胞。

预处理的影响

LSTM 用于解决长时间范围上下文信息，如果能够找到从长时间范围依赖信号到短时间范围依赖信号之间的转换关系，就没有必要使用 LSTM，可以直接使用隐马尔科夫模型。

网络公式

脚标 $\iota ,\phi ,\omega$ 分别代表输入、遗忘和输出门。${w_{ij}}$ 是从 $i$ 到 $j$ 的权重连接。在 $t$ 时刻神经元 $j$ 的输入定义为 $a_j^t$ ，而 $j$ 的激活值定义为 $b_j^t$ 。脚标 $c$ 代表了 $C$ 个记忆细胞中的一个。从 $c$ 细胞到输入、遗忘和输出门的窥视孔权重依次为 ${w_{c\iota }},{w_{c\phi }},{w_{c\omega }}$ 。 $s_c^t$ 为细胞 $c$ 在时间步 $t$ 下的状态。 $f$ 为门激活函数， $g$ 和 $h$ 分别为输入和输出激活函数。 $I,K,H$ 分别为输入、输出数量以及隐藏层细胞数。 $G$ 代表输入到隐藏层的总数，包含了细胞输入和门输入，以 $g$ 进行索引。对于每个记忆单元只有一个细胞的情况， $G$ 等于 $4H$ 。其中有

$$\delta _j^t\mathop = \limits^{{\rm{def}}} {{\partial {\cal L}} \over {\partial a_j^t}}$$

前向过程

输入门

$$\eqalign{ & a_\iota ^t = \sum\limits_{i = 1}^I {{w_{i\iota }}x_i^t + \sum\limits_{h = 1}^H {{w_{h\iota }}b_h^{t - 1}} + \sum\limits_{c = 1}^C {{w_{c\iota }}s_c^{t - 1}} } \cr & b_\iota ^t = f\left( {a_\iota ^t} \right) \cr}$$

遗忘门

$$\eqalign{ & a_\phi ^t = \sum\limits_{i = 1}^I {{w_{i\phi }}x_i^t + \sum\limits_{h = 1}^H {{w_{h\phi }}b_h^{t - 1}} + \sum\limits_{c = 1}^C {{w_{c\phi }}s_c^{t - 1}} } \cr & b_\phi ^t = f\left( {a_\phi ^t} \right) \cr}$$

细胞状态

$$\eqalign{ & a_c^t = \sum\limits_{i = 1}^I {{w_{ic}}x_i^t + \sum\limits_{h = 1}^H {{w_{hc}}b_h^{t - 1}} } \cr & s_c^t = b_\phi ^ts_c^{t - 1} + b_\iota ^tg\left( {a_c^t} \right) \cr}$$

输出门

$$\eqalign{ & a_\omega ^t = \sum\limits_{i = 1}^I {{w_{i\omega }}x_i^t + \sum\limits_{h = 1}^H {{w_{h\omega }}b_h^{t - 1}} + \sum\limits_{c = 1}^C {{w_{c\omega }}s_c^t} } \cr & b_\omega ^t = f\left( {a_\omega ^t} \right) \cr}$$

细胞输出

$$b_c^t = b_\omega ^th\left( {s_c^t} \right)$$

反向过程

$$\eqalign{ & \varepsilon _c^t\mathop = \limits^{{\rm{def}}} {{\partial {\cal L}} \over {\partial b_c^t}} \cr & \varepsilon _s^t\mathop = \limits^{{\rm{def}}} {{\partial {\cal L}} \over {\partial s_c^t}} \cr}$$

细胞输出

$$\varepsilon _c^t = \sum\limits_{k = 1}^K {{w_{ck}}\delta _k^t} + \sum\limits_{g = 1}^G {{w_{cg}}\delta _g^{t + 1}}$$

输出状态

$$\delta _w^t = f'\left( {a_w^t} \right)\sum\limits_{c = 1}^C {h\left( {s_c^t} \right)\varepsilon _c^t}$$

细胞状态

$$\varepsilon _s^t = b_w^th'\left( {s_c^t} \right)\varepsilon _c^t + b_\phi ^{t + 1}\varepsilon _s^{t + 1} + {w_{c\iota }}\delta _\iota ^{t + 1} + {w_{c\phi }}\delta _\phi ^{t + 1} + {w_{c\omega }}\delta _\omega ^t$$

细胞残差

$$\eqalign{ & \varepsilon _s^t = b_w^th'\left( {s_c^t} \right)\varepsilon _c^t + b_\phi ^{t + 1}\varepsilon _s^{t + 1} + {w_{c\iota }}\delta _\iota ^{t + 1} + {w_{c\phi }}\delta _\phi ^{t + 1} + {w_{c\omega }}\delta _\omega ^t \cr & \delta _c^t = b_\iota ^tg'\left( {a_c^t} \right)\varepsilon _s^t \cr}$$

遗忘门

$$\delta _\phi ^t = f'\left( {a_\phi ^t} \right)\sum\limits_{c = 1}^C {s_c^{t - 1}\varepsilon _s^t}$$

输入门

$$\delta _\iota ^t = f'\left( {a_\iota ^t} \right)\sum\limits_{c = 1}^C {g\left( {a_c^t} \right)\varepsilon _s^t}$$