10--深度循环神经网络

深度循环神经网络

         跟多层神经网络一样，循环神经网络也有多个隐藏层深度循环神经网络，通过添加更多的隐藏层来获得更多非线性。该网络结构如下图所示：

        与多层感知机一样，隐藏层数目L和隐藏单元数目h都是超参数。以LSTM网络为例，直接调用内置函数实现：

lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)#num_layers为隐藏层数目L

双向循环神经网络

        在根据上下文对中间句子进行预测时，就不仅要考虑之前时刻的输入序列，还需要结合之后的输入序列。而前面提到的RNN都是往一个方向进行传播，不适合这种需要考虑上下文的结构，因此提到双向的循环神经网络来解决这个问题，该结构主要用于序列编码和给定双向上下文的观测估计。该网络结构如下图所示：

        该网络可以看作是两个RNN，一个向前的RNN隐层和一个向后的RNN隐层，最后合并两个隐状态进行输出。将输入的序列放到一个RNN中得到一个正向的隐状态，再将序列倒序输入到RNN中，得到的隐状态再倒序与正向的隐状态进行concat，最后得到输出。

        注意，该结构不能用于对下一词远进行预测任务，因为在预测下一个词元时，我们无法知道下一个词元的下文是什么， 所以将不会得到很好的精度。 具体地说，在训练期间，我们能够利用过去和未来的数据来估计现在空缺的词，而在测试期间，我们只有过去的数据，因此精度将会很差。这里将模型用于预测，代码如下：

import torch
from torch import nn
from d2l import torch as d2l

# 加载数据
batch_size, num_steps, device = 32, 35, d2l.try_gpu()
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 通过设置“bidirective=True”来定义双向LSTM模型
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers, bidirectional=True)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
# 训练模型
num_epochs, lr = 500, 1
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)

运行结果：

        可以看出，该模型的困惑度虽然没有问题，但预测的结果却是糟糕的。并且由于梯度链更长，因此双向循环神经网络的训练代价非常高。