LSTM网络层详解及其应用实例

最新推荐文章于 2024-07-26 17:00:13 发布

coding 迪斯尼

最新推荐文章于 2024-07-26 17:00:13 发布

阅读量4.5k

点赞数

分类专栏：深度学习神经网络文章标签： LSTM

本文链接：https://blog.csdn.net/tyler_download/article/details/82698642

版权

深度学习同时被 2 个专栏收录

66 篇文章 13 订阅

订阅专栏

神经网络

62 篇文章 11 订阅

订阅专栏

上一节我们介绍了RNN网络层的记忆性原理，同时使用了keras框架听过的SimpleRNN网络层到实际运用中。然而使用的效果并不理想，主要是因为simpleRNN无法应对过长单词串的输入，在理论上，当它接收第t个输入时，它应该能把前面好几个单词的处理信息记录下来，但实际上它无法把前面已经处理过的单词信息保留到第t个单词输入的时刻。

出现这种现象的原因叫”Vanishing gradian problem”，我们以前说要更新某个链路权重中，需要对它求偏导数，但在某种情况下，我们求得的偏导数可能接近于0，这样一来链路权重就得不到有效更新，因为当权重加上一个很接近于0的偏导数时，它不会产生显著的变化。这种现象也会出现在feed forward网络，当网络有很多层时，我们会把误差进行回传，但层次过多时，回传的误差会不断的被“冲淡”，直到某个神经元接收到回传的误差是，该误差的值几乎与0差不多大小，这样求出的偏导数也接近与0，因此链路权重就得不到有效的更新。

这种现象被人工置顶的三位大牛Hochreiter,Schmidhuber，Bengio深入研究后，他们提出一种新型网络层叫LSTM和GRU以便接近偏导数接近于0使得链路权重得不到有效更新的问题。LSTM的全称是Long Short term memory,也就是长短程记忆，它其实是我们上节使用的simpleRNN变种，设想当单词一个个输入网络时，旁边还有一条传送带把相关信息也输入网络，如下图：

屏幕快照 2018-09-07 下午6.10.13.png

这里我们多增加一个变量C来记录每一个单词被网络处理后遗留下来的信息，网络的激活函数还是不变，但是我们要增加多几个变量来计算变量C：
i_t = activation(dot(state_t, Ui) + dot(input_t, wi) + bi)
f_t =activation(dot(state_t, Uf) + dot(input_t, wf) + bf)
k_t=activation(dot(state_t, Uk) + dot(input_t, wk) + bk)
那么C的更新方式为：
C = i_t * k_t + C*f_t
初看起来，逻辑很难理解，为何我们要增加这些不知所云的步骤呢，它蕴含着较为复杂的设计原理和数学原理，简单来说C*f_t目的是增加一些噪音，让网络适当的“忘记”以前计算留下了的信息，i_t*k_t是让网络增强最近几次计算所遗留下来的信息，这里我们不深究，只要囫囵吞枣，知道新增加的变量C是用来帮助网络增强对以前信息处理的记忆，并指导该变量如何更新就好，接下来我们看看LSTM网络的具体应用实例：

from keras.layers import LSTM

model = Sequential()
model.add(Embedding(max_features, 32))
model.add(LSTM(32))
model.add(Dense(1, activation='sigmoid'))

model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])
history = model.fit(input_train, y_train, epochs=10, batch_size=128, validation_split=0.2)