keras 循环神经网络RNN优化--LSTM+GRU

最新推荐文章于 2024-09-01 21:39:37 发布

~泊舟~

最新推荐文章于 2024-09-01 21:39:37 发布

阅读量5.7k

点赞数

本文链接：https://blog.csdn.net/weixin_43800131/article/details/105744451

版权

开篇

图示对比

RNN
NZkcoCnq-1587775999568)(content.assets/rnn.gif)]

LSTM
Iv1DpZFo-1587775999573)(content.assets/lstm.gif)]

GRU
2ouRiOin-1587775999575)(content.assets/gru.gif)]

优化的点

在RNN中，随着时间线的延长，距离目前时间比较远的数据所包含的信息会被衰减殆尽，举个例子

“I grew up in France… I speak fluent ？.” 我们现在想判断出 ? 处应该是什么，我们直观地判断结果应该是Franch，判断的依据是前面有个France，可以认为France是 $x_4$ 的数据，我们要推断的是 $x_t(t \geq 8)$ 的数据。对RNN而言，这两个单词离得太远了，因此解决不了。

LSTM

本质上增加了存储的信息量，可以认为 $C_t$ 中保留了从开始到现在所有需要的信息。这是长期知识，然后通过与RNN中已经提供的短期知识结合，共同判断结果。细致的讲解可以参看下面的[博客][https://www.jianshu.com/p/95d5c461924c]。

GRU

效果跟LSTM差不多，但是节省了更多的计算资源，因为没有细胞状态了。细致原理参看下面的文章。

https://zhuanlan.zhihu.com/p/32481747

keras实现

LSTM

keras.layers.LSTM(units, activation='tanh', recurrent_activation='sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', unit_forget_bias=True, kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None, bias_constraint=None, dropout=0.0, recurrent_dropout=0.0, implementation=2, return_sequences=False, return_state=False, go_backwards=False, stateful=False, unroll=False)

具体参数的含义在中基本ref都已经介绍过了，这里新增的两个activation通过默认值可以直接与lstm的结构对应上。

GRU

keras.layers.GRU(units, activation='tanh', recurrent_activation='sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initializer='zeros', kernel_regularizer=None, recurrent_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, recurrent_constraint=None, bias_constraint=None, dropout=0.0, recurrent_dropout=0.0, implementation=2, return_sequences=False, return_state=False, go_backwards=False, stateful=False, unroll=False, reset_after=False)