长短期记忆网络（LSTM（long short term memory）unit）

来源：Coursera吴恩达深度学习课程

上一篇文章我们学习了门控循环单元-GRU单元（Gated Recurrent Unit）。它能够实现在序列中学习非常深的连接。其他类型的单元也可以做到，比如LSTM即长短时记忆网络，甚至比GRU更加有效，让我们看看。

如上图左侧是GRU的公式，有两个门（gates）：更新门Γ_u（the update gate）和相关门Γ_r（the relevance gate）。

LSTM是一个比GRU更加强大和通用的版本，这多亏了 Sepp Hochreiter和 Jurgen Schmidhuber的论文”Long short-term memory”，它在序列模型上有着巨大影响。Andrew感觉这篇论文是挺难读懂的，虽然这篇论文在深度学习社群有着重大的影响，它深入讨论了梯度消失的理论，但是似乎大部分的人学到LSTM的细节是在其他的地方，而不是这篇论文。

上图右侧为LSTM的主要式子。同样考虑记忆细胞c的候选值，计算公式为：

（备注：还是这个问题，不知道为什么右上角的符号就是显示不出来，这篇文章都会（）代替，有时间会解决这个bug，望谅解。）

注意这里有一些改变，专门使用a^(t)或者a^(t-1)，而不是用c^(t-1)，所以不再有a^(t) = c^(t)的情况。

同样也有更新门Γ_u和更新参数W_u，表达式如下：

LSTM的新特性之一是不只有一个更新门控制，还有遗忘门Γ_f（the forget gate），表达式如下：

以及有一个新的输出门Γ_o（output gate），表达式如下：

于是记忆细胞的更新值公式为：

最后的式子为：

以上就是LSTM主要的式子，这里有三个门而不是两个，这有点复杂，它把门放到了和GRU有点不同的地方。

如上图，这里也用图片解释一下。Andrew认为式子比图片好理解，画图只是因为它比较直观。右上角的图的灵感来自于Chris Ola的一篇博客，标题是《理解LSTM网络》（Understanding LSTM Network），这里的这张图跟他博客上的图是很相似的。下面具体解释一下。

这里使用a^(t-1)和x^(t)一起来计算遗忘门、更新门和输出门的值。注意一下下方的三张图，把它们按照时间次序连接起来，这里输入x^(1)、x^(2)和x^(3)，有个很有意思的事情（红色直线），这条线显示了只要你正确地设置了遗忘门和更新门，LSTM是相当容易把a^的值一直往下传递到右边，比如

这就是为什么LSTM和GRU非常擅长于长时间记忆某个值，对于存在记忆细胞中的某个值，即使经过很长很长的时间步。

这里和一般使用的版本会有些不同，最常用的版本可能是门值不仅取决于a^(t-1)和x^(t)，也关注c^(t-1)的值。这叫做“窥视孔连接”（peephole connection）。如下图绿色标记：

以上就是LSTM。那么我们什么时候应该用GRU？什么时候用LSTM？这里没有统一的准则。在深度学习的历史上，LSTM也是更早出现的，而GRU是最近才发明出来的，它可能源于Pavia在更加复杂的LSTM模型中做出的简化。研究者们在很多不同问题上尝试了这两种模型，看看在不同的问题不同的算法中哪个模型更好。两者的优点如下：

①GRU的优点（advantage）是这是个更加简单的模型，所以更容易创建一个更大的网络，而且它只有两个门，在计算性上也运行得更快，然后它可以扩大模型的规模。

②LSTM的优点（advantage）为更加强大和灵活，因为它有三个门而不是两个。

Andrew建议：LSTM在历史进程上是个更优先的选择，今天大部分的人还是会把LSTM作为默认的选择来尝试。虽然最近几年GRU获得了很多支持，而且越来越多的团队也正在使用GRU，因为它更加简单，而且还效果还不错，它更容易适应规模更加大的问题。

总的来说，无论是GRU还是LSTM，你都可以用它们来构建捕获更加深层连接的神经网络。

说明：记录学习笔记，如果错误欢迎指正！转载请联系我。