深度学习-----------------------双向循环神经网络

双向循环神经网络

第一条：单向，随便预测
第二条：双向，需要根据过去和未来
第三条：双向

---

双向RNN

往前的隐藏层（➡）是指：$x_1$输入进来，state是放到下一个输入。

反向的（⬅）：$x_2$输入到$\overleftarrow{H_2}$这个地方，它更新后的隐藏状态是给$x_1$用的，然后得出$\overleftarrow{H_1}$。

最后：这两个隐藏状态(即：$\overrightarrow{H_1}$ 和$\overleftarrow{H_1}$)合在一起然后输出。

---

推理

推理（也就是测试集）看不到未来：所以说双向循环神经网络非常不适合做推理。几乎不能用在去预测下一个词上面，因为为了得到输出的那个$H_t$，需要既看到之前的信息（$\overrightarrow{H_1}$）又要看到它之后的信息（$\overleftarrow{H_1}$），所以在推理的时候没有之后的信息是做不了推理的。

双向循环神经网络的主要作用：是对一个句子做特征提取。

---

双向循环神经网络错误的总代码

我们不能用双向循环神经网络来训练语言模型，因为语言模型是预测未来，在做预测的时候没有未来。

from torch import nn
from d2l import torch as d2l

batch_size, num_steps, device = 32, 35, d2l.try_gpu()
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
# 创建一个双向LSTM层
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers, bidirectional=True)  # bidirectional是双向参数
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
num_epochs, lr = 500, 1
# 使用d2l库中的训练函数进行模型训练（双向循环神经网络无法预测未来信息）
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)
d2l.plt.show()

---

总结

双向循环神经网络通过反向更新的隐藏层来利用反时间方向的信息。

通常用来对序列抽取特征、填空、而不是预测未来。