使用双向RNN
双向 RNN 是一种常见的RNN 变体,它在某些任务上的性能比普通 RNN 更好。它常用于自然语言处理,可谓深度学习
对自然语言处理的瑞士军刀。
我们先来看下双向RNN的工作原理:
这里注意,这里的逆序是指将样本集 逆序排列,每个样本的内容结构没有改变。
在keras中将一个双向RNN实例化,我们需要用到Bidirectional层。
下面我们将双向RNN运用与上一节的温度预测:
#训练一个双向 GRU
from keras.models import Sequential
from keras import layers
from keras.optimizers import RMSprop
model = Sequential()
model.add(layers.Bidirectional(
layers.GRU(32),input_shape=(None,float_data.shape[-1])))
model.add(layers.Dense(1))
model.summary()
model.compile(optimizer=RMSprop(),loss='mae')
history = model.fit_generator(train_gen,
steps_per_epoch=500,
epochs=40,
validation_data=val_gen,
validation_steps=val_steps)
这个模型的表现与普通 GRU 层差不多一样好。其原因很容易理解:所有的预测能力肯定都来自于正序的那一半网络,因为我们已经知道,逆序的那一半在这个任务上的表现非常糟糕。