4.7.深层循环神经网络

深层循环网络

​ 就是更深了，因为之前的网络都只有一层隐藏层，弄多一点

​ 我们将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生了一个灵活的机制。上图展示了一个具有$L$个隐藏层的深度循环神经网络，每个隐状态都连续地传递到当前层的下一个时间步和下一层的当前步。

1.函数依赖关系

​ 假设在时间步$t$有一个小批量的输入数据$X_t\in {\mathbb{R}}^{n\times d}$(样本数:n，每个样本中的输入数：d)，同时，将第$l$个隐藏层($l=1,\cdots ,L$)的隐状态设为KaTeX parse error: Expected group as argument to '\H' at position 3: \H_̲t^{(l)}\in \R^{…(隐藏单元数：h)，输出层变量设为$O_t\in {\mathbb{R}}^{n\times q}$(输出数:$q$)，设置$H_t^{(0)}=X_t$,第$l$个隐藏层的隐状态使用激活函数${\varphi }_t$，则：
$$H_t^{(l)}=\varphi (H_t^{(l-1)}{W}_{xh}^{(l)}+H_{t-1}^{(l)}{W}_{hh}^{(l)}+b_h^{(l)})$$
​ 其中权重$W_{xh}\in {\mathbb{R}}^{h\times q},W_{hh}^{(l)}\in R^{h\times h}$和偏置$b_h\in {\mathbb{R}}^{1\times h}$都是第l个隐藏层的模型参数。

​ 最后，输出层的计算仅基于第$l$个隐藏层的最终的隐状态：
$$O_t=H_t^{(L)}{W}_{hq}+b_q$$
​ 其中，权重$W_{hq}\in {\mathbb{R}}^{h\times q}$和偏置$b_q\in {\mathbb{R}}^{1\times q}$都是输出层的模型参数

​ 使用多个隐藏层来获得更多的非线性性。

2.代码实现

import torch
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)


vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
device = d2l.try_gpu()
# num_layers 的值来设定隐藏层数
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)

num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr*1.0, num_epochs, device)