LSTM内部结构-我彻底明白了

原创：李孟启

1、背景

LSTM（Long Short-term Memory，LSTM）长短期记忆[1]，是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，LSTM就能够很好地解决这类问题。

本教程适合入门深度学习的小白，大神请绕行，你要是即将参加面试，那么这篇文章也会对你产生帮助。

2、LSTM结构

如图1所示，这是一个时刻的LSTM的内部结构图，多个时刻就是下图在横向上拼接组成。

（1）从图中我们可以看到有三个门，即输⼊门（input gate）、遗忘门（forget gate）和输出门（output gate），以及记忆细胞（某些⽂献把记忆细胞当成⼀种特殊的隐藏状态），从⽽记录额外的信息。这里你可能不懂隐藏状态，但是没关系，你只需要理解下面的计算过程即可。一提到LSTM，我们就不得不面对下面的公式，这些公式也是面试中常被问及的地方，也有一定的重复性，突出两个字“好记“。

${\mathbf{I}}_t=\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xi}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hi}+{\mathbf{b}}_i\right)$ 式1

${\mathbf{F}}_t=\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xf}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hf}+{\mathbf{b}}_f\right)$ 式2

${\mathbf{O}}_t=\sigma \left({\mathbf{X}}_t{\mathbf{W}}_{xo}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{ho}+{\mathbf{b}}_o\right)$ 式3

这里从数学运算的角度上讲解，所以不会涉及太多深度学习的名词，我们先来明确公式中每个参数的含义，这些参数是以矩阵的形式存在的，$X_t$是 t