现代循环神经网络

现代循环神经网络

1. 深度循环神经网络

目前为止介绍的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。下图中展示了一个有 $L$ 个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。

具体来说，在时间步 $t$ 里，设小批量的输入 $X_t\in R^{n\times d}$ (样本数为 $n$, 输入特征维度为 $d$) ，第 $l$ 隐藏层 $(l=1,2,\cdots ,L)$ 的隐藏状态为 $H_t^{(l)}\in R^{n\times h}$ (隐藏单元个数为 $h$)，输出层变量为 $O_t\in R^{n\times q}$ (输出个数为 $q$ )，且隐藏层的激活函数为 $\varphi$。第 1 隐藏层的隐藏状态和之前的计算一样：
$$H_t^{(1)}=\varphi (X_t{W}_{dh}^{(1)}+H_{t-1}^{(1)}{W}_{hh}^{(1)}+b_h^{(1)})$$
其中权重 $W_{dh}^{(1)}\in R^{d\times h}$、$W_{hh}^{(1)}\in R^{h\times h}$ 和偏置项 $b_h^{(1)}\in R^{(1\times h)}$ 分别是第 1 隐藏层的模型参数。

当 $1\le l\le L$ 时，第 $l$ 隐藏层的隐藏状态的表达式为：
$$H_t^{(l)}=\varphi (H_t^{(l-1)}{W}_{dh}^{(l)}+H_{t-1}^{(l)}{W}_{hh}^{(l)}+b_h^{(l)})$$
其中权重 $W_{dh}^{(l)}\in R^{d\times h}$、$W_{hh}^{(l)}\in R^{h\times h}$ 和偏置项 $b_h^{(l)}\in R^{(1\times h)}$ 分别是第 1 隐藏层的模型参数。

最终，输出层的输出只需基于第 $L$ 隐藏层(最后的隐藏层)的隐藏状态：
$$O_t=H_t^{(L)}{W}_{hq}+b_q$$
其中权重 $W_{hq}\in R^{h\times q}$ 和偏置项 $b_q\in R^{1\times q}$ 为输出层的模型参数。

和多层感知机一样，隐藏层个数 $L$ 和每一层隐藏单元 $h$ 都是超参数。此外，如果将隐藏状态的计算换成门控循环单元或者长短期记忆的计算，我们就可以得到深度门控循环神经网络。

总之，在深度循环神经网络中，隐藏状态的信息不断传递至当前层的下一时间步和当前时间步的下一层。同一隐藏层单元的参数是共享的，而不同隐藏层之间的参数是不同的。

---

2. 双向循环神经网络

之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此他们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后⾯时间步决定。例如，当我们写下⼀个句子时，可能会根据句子后面的词来修改句子前面的用词。

双向循环神经网络通过增加从后往前传递信息的隐藏层来更灵活地处理这类信息。下图展示了一个含单隐藏层的双向循环神经网络的架构，下面我们来介绍具体的定义。

给定时间步 $t$ 的小批量输入 $X_t\in R^{n\times d}$ (样本数为 $n$，输入个数为 $d$) 和隐藏层激活函数为 $\varphi$ 。在双向循环神经网络的架构中，设该时间步正向隐藏状态为 $\overrightarrow{H_t}\in R^{n\times h}$ (正向隐藏单元个数为 $h$ )，反向隐藏状态为 $\overleftarrow{H_t}\in R^{n\times h}$ (反向隐藏单元个数为 $h$)。我们可以分别计算正向隐藏状态和反向隐藏状态：

1. 正向隐藏状态：

$$\overrightarrow{H_t}=\varphi (X_t{W}_{dh}^{(f)}+{\overrightarrow{H}}_{t-1}{W}_{hh}^{(f)}+b_h^{(f)})$$

2. 反向隐藏状态：
   $$\overleftarrow{H_t}=\varphi (X_t{W}_{dh}^{(b)}+{\overleftarrow{H}}_{t+1}{W}_{hh}^{(b)}+b_h^{(b)})$$

其中权重 $W_{dh}^{(f)}\in R^{d\times h}$、$W_{hh}^{(f)}\in R^{h\times h}$ 、$W_{dh}^{(b)}\in R^{d\times h}$、$W_{hh}^{(b)}\in R^{h\times h}$ 和偏置项 $b_h^{(f)}\in R^{1\times h}$ 、 $b_h^{(b)}\in R^{1\times h}$ 均为模型参数。

然后我们连结两个⽅向的隐藏状态 $\overrightarrow{H_t}$ 和 $\overleftarrow{H_t}$ 来得到隐藏状态 $H_t\in R^{n\times 2h}$，并将其输入到输出层，输出层计算输出 $O_t\in R^{n\times q}$ (输出个数为$q$)：
$$O_t=H_t{W}_{2h\times q}+b_q$$
其中权重 $W_{2h\times q}\in R^{2h\times q}$ 和偏置项 $b_q\in R^{1\times q}$ 为输出层的模型参数，不同方向上的隐藏单元也可能不一样。

双向循环神经网络在每个时间步的隐藏状态同时取决于该时间步之前和之后的子序列（包括当前时间步的输⼊）。