理解 LSTM 及其图示

作者：徐瑞龙，量化分析师，R语言中文社区专栏作者

博客专栏：

https://www.cnblogs.com/xuruilong100

本文翻译自 Shi Yan 的博文 Understanding LSTM and its diagrams，原文阐释了作者对 Christopher Olah 博文 Understanding LSTM Networks 更加通俗的理解。

我不擅长解释 LSTM，写下这段文字是为了我个人记忆方便。我认为 Christopher Olah 的那篇博文是关于 LSTM 最棒的资料。如果想要学习 LSTM 的话，请移步到原始的文章链接。（我会在这里画一些更漂亮的图示）

尽管我们不知道大脑的运行机制，但我们依然能够感觉到它应该有一个逻辑单元和一个记忆单元。我们基于推理和经验得到的这个结论，就像电脑一样，我们也有逻辑单元、CPU 和 GPU，以及内存。

但是，当你观察一个神经网络的时候，它工作起来就像一个黑箱。你从一端出入，再从另一端得到输出。整个决策过程几乎完全取决于当前的输入。

我觉得，说神经网络完全没有记忆是不恰当的。无论怎样，学习得到的权重可以看作是训练数据的一种记忆。但是这种记忆更加静态。有些时候我们需要为后面的使用记住一些输入。这种例子很多，比如股票市场。为了做出好的投资决策，我们至少要从一个时间窗口回溯股票数据。

若要让神经网络接受时间序列数据，最简单的方法就是将若干神经网络连接在一起。每个神经网络只处理一步。你需要向神经网络提供一个时间窗口上所有步的数据，而不是单一步。

许多时候，你处理的数据具有周期模式。举个简单的例子，你需要预测圣诞树的销量。这是件季节性很强的事，每年只有一个高峰出现。一个好的预测策略是回溯一年前的数据。对于这类问题，你需要包含很早以前的数据，或者很强的记忆。你需要知道那哪些有价值的数据需要记住，哪些没用数据要忘记。

理论上，简单连接的神经网络称为递归神经网络，是可以工作的。但实践中面临两个难题：梯度消失和梯度爆炸，这会使神经网络无法使用。

后来出现的 LSTM（长短期记忆网络）通过引入记忆单元（即神经网络的细胞）来解决上述问题。LSTM 模块的图示如下：

初看起来非常复杂。让我们忽略中间部分，只看单元的输入和输出。网络有三个输入，是当前的输入；是上一个 LSTM 单元的输出；是我认为最重要的输入——上一个 LSTM 单元的“记忆”。