LSTM 与 GRU

LSTM 示意图如下，来自 LSTM 非常出名的博客 ： http://colah.github.io/posts/2015-08-Understanding-LSTMs/

首先标准的LSTM

forgot gate:

input  gate 

cell state

output gate

LSTM 常用的一种变体--GRU 

input gate、forget gate  GRU 中将这两个gate合为一个 update gate,  将cell state 、hidden state 也合为一个state