深度学习---------------------------深度循环神经网络-CSDN博客

本文链接：https://blog.csdn.net/CSDN_e_1/article/details/142669862

回顾：循环神经网络

在这里插入图片描述

RNN就一个隐藏的层，无法做的很宽，所以一般的做法是做的更深。（更深的时候是说每一层做一点点的非线性。）

怎么样把循环网络变深？怎么样获得更多的非线性？

多加几个隐藏层。

在这里插入图片描述

更深：

在这里插入图片描述

当前的第一个隐藏层 $H_{t}^{1}$ ，第j层就是 $H_{t}^{j}$ 等于 $f_j$ 下(第j层的上一个时刻的H，第j-1层时刻的隐藏状态)

总结

深度循环神经网络使用多个隐藏层来获得更多的非线性性。

深度循环神经网络代码

from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
# 将数据集划分为以batch_size为批量大小，num_steps为时间步数的小批量数据
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 设置隐藏层数为2，即num_layers
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
# 将输入的维度设置为词汇表的大小，用于将词汇表中的词转换为嵌入向量
num_inputs = vocab_size
device = d2l.try_gpu()
# 创建 LSTM 层
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)
d2l.plt.show()