长短期记忆网络(LSTM)

一． 摘要

门控制循环单元是为了解决循环神经网络短期记忆问题提出的解决方案，它们引入称作“门”的内部机制，可以调节信息流。在上次的内容分享中，我们简单解析了名称为GRU的门控制循环单元。因为“门”的机制，我们还可以在此基础上创新出性能更优的循环单元。本次分享的内容也是基于GRU循环单元的强化版：长短期记忆网络(long short-term memory，LSTM)门控制循环单元。

图1 ：LSTM和GRU结构图

二． 长短期记忆(LSTM)

通过图1可以很明显的发现LSTM比GRU“门”的数量更多结构也更复杂。LSTM 中引入了3种类型的门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞。

输入门、遗忘门和输出门：此3种控制门与门控循环单元中的重置门和更新门功能相似。如图2所示，长短期记忆的门的输入均为当前时间步输入Xt与上一时间步隐藏状态Ht-1，输出由激活函数为sigmoid函数的全连接层计算得到。如此一来，由于sigmoid函数的特性，此3个门元素的输出值域均为[0, 1]。