自然语言处理--创建一个双向循环神经网络

我们阅读句子的方向是单向的，但当接收到新信息时，大脑能够迅速回到文本前面的内容。人类可以处理那些没有按照最佳顺序呈现的信息。如果我们能允许模型在输入之间来回切换，那就太好了。这就是双向循环神经网络的用武之地。

基本思想：将两个 RNN 并排在一起，将输入像普通单向 RNN 的输入一样传递到其中一个 RNN 中，并将同样的输入从反向传递到另一个 RNN 中，如图所示，然后，在每个时刻将这两个网络的输出拼接到一起作为另一个网络中对应（相同输入词条）时刻的输入。我们获取输入最后一个时刻的输出后，将其与在反向网络的第一个时刻的由相同输入词条生成的输出拼接起来。

好处：
不仅可以对文本进行预测和分类，还可以对语言本身及其使用方式进行建模。有了它，我们就可以生成全新的语句，而不仅仅是模仿模型之前见过的文本

代码：

from keras.models import Sequential
from keras.layers import SimpleRNN
from keras.layers.wrappers import Bidirectional

num_neurons = 10
maxlen = 100
embedding_dims = 300

model = Sequential()
model.add(Bidirectional(SimpleRNN(
    num_neurons, return_sequences=True), input_shape=(maxlen, embedding_dims)))