论文研究目标(摘要、引言)
这篇论文研究LSTM各部件(遗忘门、输入门、输出门、激励函数等)在LSTM中起到了何种作用。论文作者借助大规模实验,利用声音识别、手写体字符识别、音乐识别(polyphonic music modeling)三项任务,评判vanilla LSTM及其八大变体的表现,借此找出LSTM各组件的作用。 需要注意等式,八大变体的每一个相对于vanilla LSTM都只有一处改变,这样方便找出某个特定组件在其中所起的作用。
为了实验的公平起见,作者采用随机搜索的方式找到领V-LSTM及其变体表现最好的超参数。最后,在三大任务中作者一共做了5400次实验,实验结果表明:
(1) Vanilla LSTM表现最好,其余八大变体效果没有明显提升;
(2) 遗忘门、输出的激励函数具有关键性作用;
(3) 各超参数本质上是相互独立的,可以单独优化。
经典Vanilla LSTM的介绍
目前使用最多的是vanilla LSTM(简记为V-LSTM),其结构如下所示。V-LSTM由遗忘门、输入门、输出门、模块输入、模块输出组成。遗忘门、输入门、输出门均引入了激活函数(sigmoid或者tanh)。sigmoid函数具有流量规整(控制在0,1之间)的作用。
![6312c8a278cef93b900e747593fc2c91.png](https://i-blog.csdnimg.cn/blog_migrate/6ceb12c6a7a98798f39e8560a65dd3d2.jpeg)
图 vanilla LSTM
依据上图,V-LSTM的数学模型表示如下:
![aac90f1d6a03208d261583d452ad8880.png](https://i-blog.csdnimg.cn/blog_migrate/d007b1363ac911436bc07d1501761b81.jpeg)