【LSTM】理解LSTM

原文：https://colah.github.io/posts/2015-08-Understanding-LSTMs/

递归神经网路

Humans don;t start their thinking from scratch every second.
人类都不是每一秒都从零开始思考。

• from scratch 从零开始

当你读到这篇文章时，你理解每个单词时，会基于你对前面单词的理解。你不能抛开所有的事情来从头开始思考，你的思想是连续的。

传统的神经网络并不能做到这一点，这似乎是一个主要的缺点。例如，想象一下，你想在一个电影中，在每个时间点分类事件发生的类别，传统的神经网络可能无法做到使用前面发生的时间来推理后面时间的发生。

递归神经网络解决了这个问题。他们的网络有一个循环，允许信息一直存在。

在上图中，一块神经网络， A， 有一个输入$x_t$ 和输出一个值$h_t$. 循环允许信息允许从一个步骤传递到下一个步骤。