LSTM的实现

什么是LSTM
1、LSTM的结构
我们可以看出，在n时刻，LSTM的输入有三个：
(1) 当前时刻网络的输入值Xt；
(2) 上一时刻LSTM的输出值ht-1；
(3) 上一时刻的单元状态Ct-1；
LSTM的输出有两个：
(1) 当前时刻LSTM输出值ht；
(2) 当前时刻的单元状态Ct；
2、LSTM独特的门结构
LSTM用两个门来控制单元状态Cn的内容：
遗忘门（forget gate），它决定了上一时刻的单元状态Cn-1有多少保留当前时刻
输入门（input gate），它决定了当前网络的输入C‘n有多少保存到新的单元状态Cn中
LSTM用一个门来控制当前输出值hn的内容：
输出门（output gate），它利用当前时刻单元状态Cn对hn的输出进行控制