深度循环神经网络
跟多层神经网络一样,循环神经网络也有多个隐藏层深度循环神经网络,通过添加更多的隐藏层来获得更多非线性。该网络结构如下图所示:
与多层感知机一样,隐藏层数目L和隐藏单元数目h都是超参数。以LSTM网络为例,直接调用内置函数实现:
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)#num_layers为隐藏层数目L
双向循环神经网络
在根据上下文对中间句子进行预测时,就不仅要考虑之前时刻的输入序列,还需要结合之后的输入序列。而前面提到的RNN都是往一个方向进行传播,不适合这种需要考虑上下文的结构,因此提到双向的循环神经网络来解决这个问题,该结构主要用于序列编码和给定双向上下文的观测估计。该网络结构如下图所示:
该网络可以看作是两个RNN,一个向前的RNN隐层和一个向后的RNN隐层,最后合并两个隐状态进行输出。将输入的序列放到一个RNN中得到一个正向的隐状态,再将序列倒序输入到RNN中,得到的隐状态再倒序与正向的隐状态进行concat,最后得到输出。
注意,该结构不能用于对下一词远进行预测任务,因为在预测下一个词元时,我们无法知道下一个词元的下文是什么, 所以将不会得到很好的精度。 具体地说,在训练期间,我们能够利用过去和未来的数据来估计现在空缺的词,而在测试期间,我们只有过去的数据,因此精度将会很差。这里将模型用于预测,代码如下:
import torch
from torch import nn
from d2l import torch as d2l
# 加载数据
batch_size, num_steps, device = 32, 35, d2l.try_gpu()
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 通过设置“bidirective=True”来定义双向LSTM模型
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers, bidirectional=True)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
# 训练模型
num_epochs, lr = 500, 1
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)
运行结果:
可以看出,该模型的困惑度虽然没有问题,但预测的结果却是糟糕的。并且由于梯度链更长,因此双向循环神经网络的训练代价非常高。