LSTM单元结构

本文参考了吴恩达课后作业的讲解，并给出了自己的理解。

如上图：
1.遗忘门：
假设我们正在阅读文本中的单词，并希望使用LSTM来跟踪语法结构，比如主语是单数还是复数。如果主语从单数变为复数，我们需要找到一种方法来摆脱我们先前存储的单复数状态的记忆值。在LSTM中，遗忘门是这样做的:

其中，Wf是控制遗忘门的权重，我们把a,x(t)连接起来表示成[a,x(t)],然后乘以Wf，结果得到一个矢量（上式结果），其值在0~1之间。这个遗忘门向量将与前一个单元状态c相乘，因此如果上式结果为0（或约等于0），则意味着LSTM应该删除对应的信息，如果其中有为1 的值，那么LSTM将保留该信息。
2.1更新门
一旦我们“忘记”所讨论的过去的主题是单数，我们需要找到一种方法来更新它，以反映新的主题现在是复数。这里是更新门的公式：

注：这里的Tu在图中为Ti

与遗忘门相似，上述的值是在0_{1之间，为了计算c<t>,它会与c}相乘。
2