lstm原理_LSTM: A Search Space Odyssey论文笔记

摘要：

自1995年以来，已针对循环神经网络提出了长期短期记忆（LSTM）架构的几种变体。近年来，这些网络已成为解决各种机器学习问题的最新模型。引起了人们对LSTM变体的作用和实用性的兴趣。在本文中，我们针对3种代表性任务，8个LSTM变体进行了首次大规模分析，包括：语音识别，手写识别和和弦音乐建模。使用随机搜索分别优化了每个任务的所有LSTM变体的超参数，并使用功能强大的fANOVA框架评估了它们的重要性。我们的结果表明，这些变体都无法在标准LSTM体系结构上显着改善，并表示遗忘门和输出激活函数是其最重要的部分。

VANILLA LSTM：

LSTM的主要原理是使用一个记忆单元来存储长时间的序列信息，然后通过一个非线性的门单元来控制信息的流入和流出。经典的VANILLA LSTM如图：

它具有三个门（输入，遗忘，输出），block输入，一个cell，一个输出激活函数，窥视孔连接。每个block的输出循环的连接到自己block的输入和所有的门。

Forward Pass