Pytorch学习 （二）

循环神经网络

本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量$H$，用$H_t$表示$H$在时间步$t$的值。$H_t$的计算基于$X_t$和$H_{t-1}$，可以认为$H_t$记录了到当前字符为止的序列信息，利用$H_t$对序列的下一个字符进行预测。

循环神经网络的构造

我们先看循环神经网络的具体构造。假设${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$是时间步$t$的小批量输入，${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$是该时间步的隐藏变量，则：

$${\mathbf{H}}_t=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h).$$

其中，${\mathbf{W}}_{xh}\in {\mathbb{R}}^{d\times h}$，${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$，${\mathbf{b}}_h\in {\mathbb{R}}^{1\times h}$，$\varphi$函数是非线性激活函数。由于引入了${\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}$，$H_t$能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。由于$H_t$的计算基于$H_{t-1}$，上式的计算是循环的，使用循环计算的网络即循环神经网络（recurrent neural network）。

在时间步$t$，输出层的输出为：

$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q.$$

其中${\mathbf{W}}_{hq}\in {\mathbb{R}}^{h\times q}$，${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$。