Python 深度学习--学习笔记（十六）

使用双向RNN

双向 RNN 是一种常见的RNN 变体，它在某些任务上的性能比普通 RNN 更好。它常用于自然语言处理，可谓深度学习
对自然语言处理的瑞士军刀。

我们先来看下双向RNN的工作原理：

这里注意，这里的逆序是指将样本集 逆序排列，每个样本的内容结构没有改变。

在keras中将一个双向RNN实例化，我们需要用到Bidirectional层。

下面我们将双向RNN运用与上一节的温度预测：

#训练一个双向 GRU
from keras.models import Sequential
from keras import layers
from keras.optimizers import RMSprop

model = Sequential()
model.add(layers.Bidirectional(
        layers.GRU(32),input_shape=(None,float_data.shape[-1])))
model.add(layers.Dense(1))
model.summary()
model.compile(optimizer=RMSprop(),loss='mae')

history = model.fit_generator(train_gen,
                              steps_per_epoch=500,
                              epochs=40,
                              validation_data=val_gen,
                              validation_steps=val_steps)

这个模型的表现与普通 GRU 层差不多一样好。其原因很容易理解：所有的预测能力肯定都来自于正序的那一半网络，因为我们已经知道，逆序的那一半在这个任务上的表现非常糟糕。