NLP-LSTM

---

一、LSTM介绍

LSTM（Long Short-Term Memory）也称长短时记忆结构，它是传统RNN的变体，与经典RNN相比能够有效捕捉长序列之间的语义关联，缓解梯度消失或爆炸现象，同时LSTM的结构更复杂，

它的核心结构可以分为四个部分：遗忘门、输入门、细胞状态、输出门。

二、LSTM拆解

1、遗忘门、输入门、输出门

就如在 GRU 单元中⼀样，当前时间步的输⼊和前⼀个时间步的隐状态作为数据送⼊⻓短期记忆⽹络的⻔中，如图所⽰。它们由三个具有sigmoid激活函数的全连接层处理，以计算输⼊⻔、遗忘⻔和输出⻔的值。因此，这三个⻔的值都在(0, 1)的范围内。

2、候选记忆元

候选记忆元和 RNN 的隐藏单元一样。

3、记忆元

输⼊⻔ $I_t$ 控制采⽤多少来⾃ $C_{候}$ 的新数据，⽽遗忘⻔ $F_t$ 控制保留多少过去的记忆元 $C_{t-1}$ 。

如果遗忘⻔始终为 1 且输⼊⻔始终为 0 ，则过去的记忆元 $C_{t-1}$ 将随时间被保存并传递到当前时间步。引⼊这种设计是为了缓解梯度消失问题，并更好地捕获序列中的⻓距离依赖关系。

4、隐藏状态

只要输出⻔接近1，我们就能够有效地将所有记忆信息传递给预测部分，⽽对于输出⻔接近0，我们只保留记忆元内的所有信息，⽽不需要更新隐状态。

三、总结