算法面试之LSTM和GRU

LSTM 长短期记亿

·LSTM用两个门来控制单元状态c的内容
一个是遗忘门（forget gate），决定了上一时刻的记忆单元ct-1有多少保留到记忆单元ct；
一个是输入门（input gate），决定了当前时刻网络的输入xt有多少保存到记忆单元ct 。

·LSTM用输出门（output gate）来控制记忆单元ct有多少输出到LSTM的当前输出值ht

由于遗忘门的控制，它可以保存很久很久之前的信息
由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆
输出门控制了长期记忆对当前输出的影响，由输出门和单元状态共同确定

i = (x h-1 b)
o = (x h-1 b)
f = (x h-1 b)
c~ = (x h-1)
c = fc-1 + ic~
h = o * c

LSTM的激活函数

在LSTM中，遗忘门、输入门和输出门使用Sigmoid函数作为激活函数‘
在生成候选记忆时，使用双曲正切函数Tanh作为激活函数
值得注意的是，这两个激活函数都是饱和的，也就是说在输入达到一定值的情况下，输出就不会发生明显变化了。如果是用非饱和的激活函数，例如ReLU，那么将难以实现门控的效果。