转载（与部分翻译）！理解LSTM

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

保存给自己看的

先来一张总体图

下图显示了forget gate（深色部分）， 输入上一个time step来的h和这一个time step的x，这两者进行sigmoid运算，得到一个0到1之间的数，从图中可以看出，这个数控制着从上一个time step来的C，如果是0就代表上一个C完全不要，是1的话代表上一个C完全保留。0到1之间就是按一定的比例来保留或遗忘。这就是forget gate。

下图显示了input gate的作用，这里决定的是我们要在cell state中加入一些什么（上一步是遗忘什么），具体见公式。

下图中是forget gate和input gate的后续步骤，就是遗忘一点原来的，再加上部分现在的。

到这里为止，我们就做出了之前RNN中没有的，对原来状态的修改，然而使用rnn是为了对输入进行输出，因此接下来就是用修改过的状态来计算输出。

具体计算如下图公式。