LSTM理解

理解 LSTM 网络
人人都能看懂的LSTM

RNN(Recurrent Neural Networks)

x为每次的输入，每个节点会生成一个传递状态以及一个输出，把状态传递给下一个节点，完成消息的传递。缺陷是相邻节点的信息影响大，较远节点的信息被遗忘。

 

LSTM(Long Short Term Memory）

LSTM与RNN结构类似，区别在于单元。每个节点生成两个传输状态，一个变化很慢（每个节点右上的输出），一个在不同的节点有很大的区别（每个节点右下的输出）。它在更长序列的情况下有着更好的表现。
LSTM包含三个阶段：
1.忘记阶段。
2.选择记忆阶段。
3.输出阶段。
三个控制门由前一个函数的传输状态和当前的输入x拼接得到，依次完成上面的三个阶段。
Sigmoid 层输出0-1之间的数值，它包含在三个控制门中。tanh层得到一个-1到1的数值，作为输入数据。