循环神经网络RNN公式推导

RNN介绍

  RNN(Recurrent Neural Network)，也称循环神经网络，是以序列为输入的神经网络，当前时刻的输出，不仅受当前时刻的输入影响，也受以前时刻输入的影响，因而该网络具有一定的记忆功能。RNN广泛应用于视频处理, 语言模型, 图像处理等领域，其结构图如下：

  上图中$x^t$表示t时刻的输入，U是输入到隐藏层的权重矩阵，V是隐藏层到输出的权重矩阵，W是连接两个相邻时刻隐藏层的权重矩阵，在各个时刻中，U,V,W都是共享的。

前向计算

  RNN的前向计算过程比较简单，在介绍前向计算之前，我们先定义一些符号概念。下图是一个更详细一点的RNN示意图。

  让我们假定输入输出层神经元的大小$C=5$，隐藏层的大小为$H=4$，则有：
$$\begin{gathered} x^{(t)}\in R^{C\times 1} \\ U\in R^{H\times C} \\ {s}^{(t)}\in R^{H\times 1} \\ V\in R^{C\times H} \\ W\in R^{H\times H} \\ {o}^{(t)}\in R^{H\times 1} \\ {y}^{(t)}\in R^{H\times 1} \end{gathered}$$
  其中：
$$\begin{array}{rlrl}{s}^{(t)}& =tanh(U{x}^{(t)}+W{s}^{(t-1)}+b_s)& & (1.1)\\ a^{(t)}& =U{x}^{(t)}+W{s}^{(t-1)}+b_s& & (1.2)\\ o^{(t)}& =softmax(V{s}^{(t)}+b_o)=[o_1^{(t)},o_2^{(t)},o_3^{(t)},o_4^{(t)},o_5^{(t)}]& & (1.3)\\ z^{(t)}& =V{s}^{(t)}+b_o=[z_1^{(t)},z_2^{(t)},z_3^{(t)},z_4^{(t)},z_5^{(t)}]& & (1.4)\end{array}$$

$$o_i^{(t)}=\frac{exp(z_i^{(t)})}{{\sum }_{j}exp(z_j^{(t)})}(1.5)$$
  其中$o_i^{(t)}$表示$x^{(t)}$属于第$i$个类别的概率，${\sum }_j{o}_j^{(t)}=1$，有了上面的定义和前向传播，我们就可以使用反向传播来更新参数。在反向传播计算之前我们需要确定损失函数，RNN的损失函数是每个时刻的误差之和，我们希望总的误差最小。在神经网络的多分类模型中，我们一般使用softmax层与负对数似然损失。
$$\begin{array}{rlrl}E& =\sum _t{E}_t& & (1.6)\\ E_t& =-\sum _{i=1}^H{y}_i^{(t)}\log o_i^{(t)}=-\log o_{y_{(t)=1}}^{(t)}& & (1.7)\end{array}$$
  其中$o_{y_{(t)=1}}^{(t)}$表示，取$o^{(t)}$中下标为$y^{(t)}$中元素为1对应下标的位置，这句话简单的来说就是，如果$y^{(t)}$中第2个元素的值为1，则取$o_{y_{(t)=1}}^{(t)}=o_2^{(t)}$，注意$y^{(t)}$是one-hot编码的向量，$y^{(t)}$中有且只有一个元素的值为1，其余的值全为0。

反向传播

  RNN的反向传播算法是Backpropagation Through Time (BPTT)，它的基本原理和BP算法是一样的，可以分为下面三个步骤：

1. 向计算每个神经元的输出值；
2. 反向计算每个神经元的误差项${\delta }^{(t)}$；
3. 计算每个权重的梯度，更新梯度。

$t$时刻的输出层第$j$个神经元的误差项我们用${\delta }_{oj}^{(t)}$表示：
$$\begin{array}{rlrl}{\delta }_{oj}^{(t)}& =\frac{\partial E_t}{\partial z_j^{(t)}}=\sum _{i=1}^C\frac{\partial E_t}{\partial o_i^{(t)}}\frac{\partial o_i^{(t)}}{\partial z_j^{(t)}}& & \\ & =-\sum _{i=1}^C\frac{\partial {\sum }_{k=1}^H{y}_k^{(t)}\log o_k^{(t)}}{\partial o_i^{(t)}}\frac{\partial o_i^{(t)}}{\partial z_j^{(t)}}& & \\ & =-\sum _{i=1}^C\frac{y_i^{(t)}}{o_i^{(t)}}\frac{\partial o_i^{(t)}}{\partial z_j^{(t)}}& & (2.1)\end{array}$$
对于式(2.1)当$i=j$时：
$$\begin{array}{rlrl}\frac{\partial o_i^{(t)}}{\partial z_j^{(t)}}& =\partial \left(\frac{exp(z_j^{(t)})}{{\sum }_{k}exp(z_k^{(t)})}\right)/\partial z_j^{(t)}& & \\ & =\frac{[{\sum }_{k}exp(z_k^{(t)})]\mathbf{D}[exp(z_j^{(t)})]-exp(z_j^{(t)})\mathbf{D}[{\sum }_{k}exp(z_k^{(t)})]}{[{\sum }_{k}exp(z_k^{(t)}){]}^2}& & \\ & =\frac{[{\sum }_{k}exp(z_k^{(t)})]exp(z_j^{(t)})-exp(z_j^{(t)})exp(z_j^{(t)})}{[{\sum }_{k}exp(z_k^{(t)}){]}^2}& & \\ & =\frac{exp(z_j^{(t)})}{{\sum }_{k}exp(z_k^{(t)})}\frac{{\sum }_{k}exp(z_k^{(t)})-exp(z_j^{(t)})}{{\sum }_{k}exp(z_k^{(t)})}& & \\ & =o_j^{(t)}(1-o_j^{(t)})& & (2.2)\end{array}$$
对于式(2.1)当$i\ne j$时：
$$\begin{array}{rlrl}\frac{\partial o_i^{(t)}}{\partial z_j^{(t)}}& =\partial \left(\frac{exp(z_i^{(t)})}{{\sum }_{k}exp(z_k^{(t)})}\right)/\partial z_j^{(t)}& & \\ & =\frac{[{\sum }_{k}exp(z_k^{(t)})]\mathbf{D}[exp(z_i^{(t)})]-exp(z_i^{(t)})\mathbf{D}[{\sum }_{k}exp(z_k^{(t)})]}{[{\sum }_{k}exp(z_k^{(t)}){]}^2}& & \\ & =\frac{[{\sum }_{k}exp(z_k^{(t)})]\ast 0-exp(z_i^{(t)})exp(z_j^{(t)})}{[{\sum }_{k}exp(z_k^{(t)}){]}^2}& & \\ & =-\frac{exp(z_i^{(t)})}{{\sum }_{k}exp(z_k^{(t)})}\frac{exp(z_j^{(t)})}{{\sum }_{k}exp(z_k^{(t)})}& & \\ & =-o_i^{(t)}{o}_j^{(t)}& & (2.3)\end{array}$$
综上，且$y^{(t)}$是one-hot编码，有${\sum }_i{y}_i^{(t)}=1$,所以输出层第$j$个神经元的误差项${\delta }_{oj}^{(t)}$：
$$\begin{array}{rlrl}{\delta }_{oj}^{(t)}& =-\sum _{i=1}^C\frac{y_i^{(t)}}{o_i^{(t)}}\frac{\partial o_i^{(t)}}{\partial z_j^{(t)}}& & \\ & =-\frac{y_j^{(t)}}{o_j^{(t)}}\frac{\partial o_j^{(t)}}{\partial z_j^{(t)}}-\sum _{i=1,i\ne j}^C\frac{y_i^{(t)}}{o_i^{(t)}}\frac{\partial o_i^{(t)}}{\partial z_j^{(t)}}& & \\ & =-\frac{y_j^{(t)}}{o_j^{(t)}}{o}_j^{(t)}(1-o_j^{(t)})-\sum _{i=1,i\ne j}^C\frac{y_i^{(t)}}{o_i^{(t)}}(-o_i^{(t)}{o}_j^{(t)})& & \\ & =y_j^{(t)}(o_j^{(t)}-1)+\sum _{i=1,i\ne j}^C{y}_i^{(t)}{o}_j^{(t)}& & \\ & =\sum _{i=1}^C{y}_i^{(t)}{o}_j^{(t)}-y_j^{(t)}=o_j^{(t)}-y_j^{(t)}& & (2.4)\end{array}$$
式(2.4)式是输出层一个神经元的误差项，那么$t$时刻整个输出层的误差项${\delta }_o^{(t)}$表示为：
$${\delta }_o^{(t)}=o^{(t)}-y^{(t)}(2.5)$$
  计算了输出层的误差项，我们接下来看隐藏层神经元$j$的误差项${\delta }_{hj}^{(t)}$，隐藏层神经元的误差项的计算比输出层稍微复杂些，分为两种情况：

1. 在最后时刻$T$，隐藏层神经元的误差项只来自于后一层(输出层)；
2. 在中间时刻$t$，隐藏层神经元的误差来自于后一层和下一时刻$t+1$隐藏层神经元的误差之和。

  第一种情况，在最后时刻$T$，隐藏层神经元误差项的计算：
$$\begin{array}{rlrl}{\delta }_{hj}^{(T)}& =\frac{\partial E_T}{\partial a_j^{(T)}}=\sum _{i=1}^C\frac{\partial E_T}{\partial z_i^{(T)}}\frac{\partial z_i^{(T)}}{\partial a_j^{(T)}}& & \\ & =\sum _{i=1}^C\sum _{k=1}^H\frac{\partial E_T}{\partial z_i^{(T)}}\frac{\partial z_i^{(T)}}{\partial s_k^{(T)}}\frac{\partial s_k^{(T)}}{\partial a_j^{(T)}}& & (2.6)\end{array}$$
  由式(1.1)：$s^{(t)}=tanh(U{x}^{(t)}+W{s}^{(t-1)}+b_s)=tanh(a^{(t)})$可得任意时刻$t$：
$$\begin{array}{rlrl}\frac{\partial s_k^{(t)}}{\partial a_j^{(t)}}& =\frac{\partial tanh(a_k^{(t)})}{\partial a_j^{(t)}}=\{\begin{array}{ll}1-s_j^{(t)2}& \text{if k=j }\\ 0& \text{others}\end{array}=I(k=j)(1-s_j^{(t)2})& & (2.7)\end{array}$$
  其中$I(k=j)$是一个指示函数，条件$k=j$为真时取1，否则取0。
  由式(1.4)：$z^{(t)}=V{s}^{(t)}+b_o$可得任意时刻$t$：
$$\begin{array}{rlrl}\frac{\partial z_i^{(t)}}{\partial s_k^{(t)}}& =\frac{\partial V_{i\bullet }{s}^{(t)}+b_{oi}}{\partial s_k^{(t)}}=V_{ik}& & (2.8)\end{array}$$
  其中$V_{i\bullet }$表示矩阵$V$的第$i$行。将式(2.7),(2.8)代入(2.6)得：
$$\begin{array}{rlrl}{\delta }_{hj}^{(T)}& =\sum _{i=1}^C\sum _{k=1}^H\frac{\partial E_T}{\partial z_i^{(T)}}\frac{\partial z_i^{(T)}}{\partial s_k^{(T)}}\frac{\partial s_k^{(T)}}{\partial a_j^{(T)}}& & \\ & =\sum _{i=1}^C\frac{\partial E_T}{\partial z_i^{(T)}}\frac{\partial z_i^{(T)}}{\partial s_j^{(T)}}\frac{\partial s_j^{(T)}}{\partial a_j^{(T)}}& & \\ & =\sum _{i=1}^C{\delta }_{oi}^{(T)}{V}_{ij}(1-s_j^{(T)2})& & \\ & =(1-s_j^{(T)2})\sum _{i=1}^C{\delta }_{oi}^{(T)}{V}_{ij}& & \\ & =(1-s_j^{(T)2})[V_{\bullet j}{]}^T{\delta }_o^{(T)}& & (2.9)\end{array}$$
  第二种情况，在中间时刻$t$，隐藏层的误差计算如下：
$$\begin{array}{rlrl}{\delta }_{hj}^{(t)}& =\frac{\partial E_t}{\partial a_j^{(t)}}+\sum _{l=t+1}^T\sum _{k=1}^H\frac{\partial E_l}{\partial a_k^{(t+1)}}\frac{\partial a_k^{(t+1)}}{\partial a_j^{(t)}}& & (2.10)\end{array}$$
再计算时刻t之后各个时刻的隐藏层对当前时刻的影响：
$$\begin{array}{rlrl}\sum _{l=t+1}^T\sum _{k=1}^H\frac{\partial E_l}{\partial a_k^{(t+1)}}\frac{\partial a_k^{(t+1)}}{\partial a_j^{(t)}}& =\sum _{k=1}^H{\delta }_{hk}^{(t+1)}\frac{\partial a_k^{(t+1)}}{\partial a_j^{(t)}}& & \\ & =\sum _{k=1}^H{\delta }_{hk}^{(t+1)}\frac{\partial a_k^{(t+1)}}{\partial s_j^{(t)}}\frac{\partial s_j^{(t)}}{\partial a_j^{(t)}}& & \\ & =\sum _{k=1}^H{\delta }_{hk}^{(t+1)}{W}_{kj}(1-s_j^{(t)2})& & \\ & =[W_{\bullet j}{]}^T{\delta }_h^{(t+1)}(1-s_j^{(t)2})& & (2.11)\end{array}$$
  注意(2.11)中的第一个等号可能不太好理解，${\sum }_{l=t+1}^T\frac{\partial E_l}{\partial a_k^{(t+1)}}={\delta }_{hk}^{(t+1)}$,这是根据隐藏层误差项的定义：从结束时刻T到当前时刻t，每个时刻的$E_t$关于加权输入$a_k^{(t+1)}$的偏导数定义为${\delta }_{hk}^{(t+1)}$。将(2.11)代入(2.10)可得：
$$\begin{array}{rlrl}{\delta }_{hj}^{(t)}& =(1-s_j^{(t)2})[V_{\bullet j}{]}^T{\delta }_o^{(t)}+[W_{\bullet j}{]}^T{\delta }_h^{(t+1)}(1-s_j^{(t)2})& & (2.12)\end{array}$$
综上，令${\delta }^{(T+1)}=\vec{0}$，则对于任意时刻$t$隐藏层神经元$j$的误差项表达如下：
$$\begin{array}{rlrl}{\delta }_{hj}^{(t)}& =(1-s_j^{(t)2})[V_{\bullet j}{]}^T{\delta }_o^{(t)}+[W_{\bullet j}{]}^T{\delta }_h^{(t+1)}(1-s_j^{(t)2})& & (2.13)\\ {\delta }_h^{(t)}& =V^T{\delta }_o^{(t)}\odot (1-s^{(t)2})+W^T{\delta }_h^{(t+1)}\odot (1-s^{(t)2})& & (2.14)\end{array}$$
经过漫长的计算，现在已经将每个神经元的误差项计算出来了，下面将利用误差项计算梯度。$V$只能通过影响当前时刻的输出来影响误差，而$W$能影响当前时刻和以后各个时刻的输出。
$$\begin{array}{rlrl}\frac{\partial E_t}{\partial V_{ji}}& =\frac{\partial E_t}{\partial z_j^{(t)}}\frac{\partial z_j^{(t)}}{\partial V_{ji}}={\delta }_{oj}^{(t)}{s}_i^{(t)}& & (2.15)\\ \frac{\partial E_t}{\partial W_{ji}}& =\sum _{l=t}^T\frac{\partial E_l}{\partial a_j^{(t)}}\frac{\partial a_j^{(t)}}{\partial W_{ji}}={\delta }_{hj}^{(t)}{s}_i^{(t-1)}& & (2.16)\\ \frac{\partial E_t}{\partial U_{ji}}& =\sum _{l=t}^T\frac{\partial E_l}{\partial a_j^{(t)}}\frac{\partial a_j^{(t)}}{\partial U_{ji}}={\delta }_{hj}^{(t)}{x}_i^{(t)}& & (2.17)\\ \frac{\partial E_t}{\partial b_{sj}}& =\sum _{l=t}^T\frac{\partial E_l}{\partial a_j^{(t)}}\frac{\partial a_j^{(t)}}{\partial b_{sj}}={\delta }_{hj}^{(t)}& & (2.18)\\ \frac{\partial E_t}{\partial b_{oj}}& =\frac{\partial E_t}{\partial z_j^{(t)}}\frac{\partial z_j^{(t)}}{\partial b_{oj}}={\delta }_{oj}^{(t)}& & (2.19)\end{array}$$
式(2.14)-(2.18)是各个时刻权重标量的的梯度，下面我们将其矢量化：

$$\begin{array}{rlrl}\frac{\partial E_t}{\partial V}& =\left[\begin{array}{cccc}{\delta }_{o1}^{(t)}{s}_1^{(t)}& {\delta }_{o1}^{(t)}{s}_2^{(t)}& \cdots & {\delta }_{o1}^{(t)}{s}_H^{(t)}\\ {\delta }_{o2}^{(t)}{s}_1^{(t)}& {\delta }_{o2}^{(t)}{s}_2^{(t)}& \cdots & {\delta }_{o2}^{(t)}{s}_H^{(t)}\\ ⋮& ⋮& ⋮& ⋮\\ {\delta }_{oC}^{(t)}{s}_1^{(t)}& {\delta }_{oC}^{(t)}{s}_2^{(t)}& \cdots & {\delta }_{oC}^{(t)}{s}_H^{(t)}\end{array}\right]={\delta }_o^{(t)}\otimes s^{(t)}=(o^{(t)}-y^{(t)})\otimes s^{(t)}& & (2.20)\\ \frac{\partial E_t}{\partial W}& =\left[\begin{array}{cccc}{\delta }_{h1}^{(t)}{s}_1^{(t-1)}& {\delta }_{h1}^{(t)}{s}_2^{(t-1)}& \cdots & {\delta }_{h1}^{(t)}{s}_H^{(t-1)}\\ {\delta }_{h2}^{(t)}{s}_1^{(t-1)}& {\delta }_{h2}^{(t)}{s}_2^{(t-1)}& \cdots & {\delta }_{h2}^{(t)}{s}_H^{(t-1)}\\ ⋮& ⋮& ⋮& ⋮\\ {\delta }_{hH}^{(t)}{s}_1^{(t-1)}& {\delta }_{hH}^{(t)}{s}_2^{(t-1)}& \cdots & {\delta }_{hH}^{(t)}{s}_H^{(t-1)}\end{array}\right]={\delta }_h^{(t)}\otimes s^{(t-1)}& & \\ & =[V^T{\delta }_o^{(t)}\odot (1-s^{(t)2})+W^T{\delta }_h^{(t+1)}\odot (1-s^{(t)2})]\otimes s^{(t-1)}& & (2.21)\\ \frac{\partial E_t}{\partial U}& =\left[\begin{array}{cccc}{\delta }_{h1}^{(t)}{x}_1^{(t)}& {\delta }_{h1}^{(t)}{x}_2^{(t)}& \cdots & {\delta }_{h1}^{(t)}{x}_C^{(t)}\\ {\delta }_{h2}^{(t)}{x}_1^{(t)}& {\delta }_{h2}^{(t)}{x}_2^{(t)}& \cdots & {\delta }_{h2}^{(t)}{x}_C^{(t)}\\ ⋮& ⋮& ⋮& ⋮\\ {\delta }_{hH}^{(t)}{x}_1^{(t)}& {\delta }_{hH}^{(t)}{x}_2^{(t)}& \cdots & {\delta }_{hH}^{(t)}{x}_C^{(t)}\end{array}\right]={\delta }_h^{(t)}\otimes x^{(t)}& & (2.22)\\ \frac{\partial E_t}{\partial b_s}& ={\delta }_h^{(t)}& & (2.23)\\ \frac{\partial E_t}{\partial b_o}& ={\delta }_o^{(t)}& & (2.24)\end{array}$$
  其中，$\otimes$表示外积，$\odot$表示点积即矩阵对应位置相乘。到此，RNN的公式推导结束。