LSTM核心解读

    LSTM的架构与RNN相比没有根本上的不同，只是它的内部使用了一个不同的函数来计算隐藏状态。 LSTM中的记忆单元称为cells，可以将其看做以先前状态和当前输入作为输入的黑盒子。 在LSTM内部，这些cells决定了要保留或者擦除哪些记忆。 然后把先前的状态，当前的记忆和输入组合在一起。 事实证明，这种类型的单元在捕获长期依赖关系上非常有效。

LSTM计算公式：

包含两个memory cells的形式（2个时间步长的展开）：

 

    LSTM里3个门都使用的sigmoid，因为它的输出必须在[0,1]之间（打开或关闭），所以relu不行。但是输入和输出都用的是tanh。

 

Reference:

1.A Critical Review of Recurrent Neural Networks for Sequence Learning