【动手学习pytorch笔记】27.双向循环神经网络

双向循环神经网络

两个隐藏状态，分别计算输出，然后concat起来最后丢到输出层

虽然原理上是这样，但实际实现上：

1. 正常和RNN同样的操作得到H1
2. 我们把输入反过来在丢进网络就好了，得到的输出也反过来H2
3. 把H1和H2 concat起来，得到最后的输出。

import torch
from torch import nn
from d2l import torch as d2l

# 加载数据
batch_size, num_steps, device = 32, 35, d2l.try_gpu()
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 通过设置“bidirective=True”来定义双向LSTM模型
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers, bidirectional=True)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
# 训练模型
num_epochs, lr = 500, 1
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)

bidirectional=True仅需着一个参数，就能得到双向的网络。

perplexity 1.1, 50185.7 tokens/sec on cuda:0
time travellerererererererererererererererererererererererererer
travellerererererererererererererererererererererererererer

但实际我们看到的效果是这样的，这其实是一个错误的例子，虽然训练时是双向的，但因为我们推理阶段的任务是预测下一个词，而推理阶段是看不见后面的输入的，所以效果非常差。

所以双向RNN并不是适用于所有任务的，只有做机器翻译等任务时，才使用双向RNN。