RNN系列之六 LSTM

1.LSTM

    LSTM的基本结构如下图：

                           ---来源http://binweber.top/2018/02/20/deep_learning_9/

    包含三个门控，一个更新门（输入门）Γu，一个遗忘门Γf，一个输出门Γo。

    更新门：将新的信息选择性的更新到细胞状态中。

    遗忘门：将细胞状态中的信息选择性的遗忘。

    输出门：确定细胞状态与输入的哪个部分将输出出去。

    具体数学表达式为：

    

    在很多LSTM版本中，几个门值的计算不只取决于输入x和a值，有时也可以偷窥上一个细胞输入的c值，这叫窥视孔连接（Peephole Connection)。

2.LSTM的记忆传递

                                                                                                                ---来源Andrew Ng深度学习课件

3.LSTM与GRU比较

GRU	LSTM