lstm原始论文_LSTM: A Search Space Odyssey 论文阅读笔记

论文研究目标（摘要、引言）

这篇论文研究LSTM各部件（遗忘门、输入门、输出门、激励函数等）在LSTM中起到了何种作用。论文作者借助大规模实验，利用声音识别、手写体字符识别、音乐识别（polyphonic music modeling）三项任务，评判vanilla LSTM及其八大变体的表现，借此找出LSTM各组件的作用。 需要注意等式，八大变体的每一个相对于vanilla LSTM都只有一处改变，这样方便找出某个特定组件在其中所起的作用。

为了实验的公平起见，作者采用随机搜索的方式找到领V-LSTM及其变体表现最好的超参数。最后，在三大任务中作者一共做了5400次实验，实验结果表明：

（1） Vanilla LSTM表现最好，其余八大变体效果没有明显提升；

（2） 遗忘门、输出的激励函数具有关键性作用；

（3） 各超参数本质上是相互独立的，可以单独优化。

经典Vanilla LSTM的介绍

目前使用最多的是vanilla LSTM（简记为V-LSTM），其结构如下所示。V-LSTM由遗忘门、输入门、输出门、模块输入、模块输出组成。遗忘门、输入门、输出门均引入了激活函数（sigmoid或者tanh）。sigmoid函数具有流量规整（控制在0,1之间）的作用。

图 vanilla LSTM

依据上图，V-LSTM的数学模型表示如下：