深度学习——循环神经网络GRU公式推导

深度学习——循环神经网络GRU公式推导

0、注意

在整篇的文章中，无论是输入的X向量，还是隐藏层得到的S向量，这些都是列向量

1、从RNN到GRU

在之前的文章中，我们具体推导了循环神经网络RNN的前向和反向传播过程，具体细节可以参考深度学习——循环神经网络RNN公式推导这篇文章。下面，我们开始介绍RNN的一个变形结构GRU神经网络。

我们首先简单的回顾一下RNN神经网络的结构，以及一个RNN隐藏层神经元的基本结构。

上面的两张图是RNN神经网络整体的结构图和一个隐藏层神经单元的结构图。

1.1 RNN神经网络的局限性-梯度消失与爆炸问题

如果在训练的过程中发生了梯度消失的问题，会导致我们的权重无法被更新，最终导致训练失败。如果发生了梯度爆炸的问题，意味着梯度过大，从而大幅度的更新网络参数，造成了网络的不稳定。最终导致网络的不稳定。在极端的情况下，权重的值变得特别大，以至于结果会溢出。

在RNN神经网络，随着时间t的推移，使得网络的长度越来越大，导致在反向传播的过程中容易发生梯度消失或者梯度爆炸。这也就是说，在RNN网络中，当前的预测需要用到比较久远的信息的时候，会因为梯度消失或者梯度爆炸的原因，会引起长期依赖的问题。

那么，如何解决这种长期依赖的问题呢？

一种比较好的方法是引入门控机制来控制信息的累积速度，包括有选择的加入新的信息，有选择的遗忘之前积累的信息等等。这一类网络称为基于门控的循环神经网络，常见的网络类型包括长短期记忆网络LSTM和门控循环网络GRU。本篇文章中，我们先来介绍GRU神经网络。

2 GRU神经网络

2.1 网络结构介绍

GRU神经网络的整体结构与RNN神经网络的整体结构相同，区别在于GRU神经网络中的隐藏层单元引入了门控单元，其具体的结构如下图所示：

相比于RNN神经元，GRU的神经元略微的有些复杂，下面，逐个的对上面的计算进行说明。

1. 在获得前一个时刻神经单元的输入$S_{t-1}$和当前时刻的输入$X_t$之后，首先是将两者进行合并输入到r(t)中去。计算过程为：
   $$ne{t}_r(t)=W_r^T{X}_t+U_r^T{S}_{t-1}+B_r$$
   $$r(t)=sigmoid(ne{t}_r(t))$$
2. 下一个过程是将前一个时刻神经单元的输入$S_{t-1}$和当前时刻的输入$X_t$输入到$z(t)$中去，具体计算过程为：
   $$ne{t}_z(t)=W_z^T{X}_t+U_z^T{S}_{t-1}+B_z$$
   $$z_t=sigmoid(ne{t}_z(t))$$
3. 再然后是产生hht的部分，这一部分相对于其他两个部分复杂一点，其输入包括当前时刻的输入$X_t$和计算出来的$r(t)$, 首先是计算出来的$r(t)$和$S_{t-1}$进行对位相乘，再将计算结果与$X_t$进行加法合并。
   $$ne{t}_{hh}(t)=W_{hh}^T{X}_t+U_{hh}^T(r(t)\ast S_{t-1})+B_{hh}$$
   $$hh(t)=tanh(ne{t}_{hh}(t))$$
4. 在计算完成$r(t),z(t),hh(t)$之后，我们要计算的就是该单元的输出值以及向输出层传递的值。先计算该单元的输出值：
   $$S_t=(1-z(t))\ast S_{t-1}+z(t)\ast hh(t)$$
5. 最后计算输出值(如果该单元有输出值)：
   $$ne{t}_o(t)=W_o^T{S}_t+B_o$$
   $$o(t)=sigmoid(ne{t}_o(t))$$

2.2 传递参数介绍

根据上面的计算过程，我们可以提炼出整个GRU结构所需要的权重矩阵的个数。对于$r(t)$位置，其需要两个权重矩阵$W_r,U_r$。对于$z(t)$位置，其需要两个权重矩阵$W_z,U_z$，对于$hh(t)$，其需要两个权重矩阵$W_{hh},U_{hh}$。最后对于输出层，有一个权重矩阵$W_o$。
$r(t)=>[W_r,U_r,B_r]$，$z(t)=>[W_z,U_z,B_z]$，$hh(t)=>[W_{hh},U_{hh},B_{hh}]$，$o(t)=>[W_o,B_o]$。

2.3 前向传播过程

我们之前已经介绍了计算过程，其计算过程也可以看做是前向传播过程。所以，这里我们给出一些代码来实现一下前向传播的过程(过程也可以参考纯Python和PyTorch对比实现门控循环单元GRU及反向传播这篇文章,这篇文章中的hh(t)的计算与本文稍有不同)：

#encoding=utf-8
import numpy as np

def sigmoid(x):
    return 1/(1 + np.exp(-x))
def tanh(x):

class GRUCell:
    def __init__(self,W_r,W_z,W_hh,U_r,U_z,U_hh,W_o,br,bz,bh,bo):
        self.W_r = W_r
        self.W_z = W_z
        self.W_hh = W_hh
        self.U_r = U_r 
        self.U_z = U_z
        self.U_hh = U_hh
        self.W_o = W_o
        self.br = br
        self.bz = bz
        self.bh = bh
        self.bo = bo
    
    def forward(self,X,S_prev):
        net_rt = np.dot(self.W_r.T,X)+np.dot(self.U_r,S_prev) + br
        rt = sigmoid(net_rt)
        net_zt = np.dot(self.W_z.T,X)+ np.dot(self.U_z,S_prev) + bz
        zt = sigmoid(net_zt)
        net_hht = np.dot(self.W_hh.T,X) + np.dot(self.U_hh.T,(rt * S_prev) + bh)
        hht = np.tanh(net_hht)
        St = (1 - zt) * S_prev + z(t) * hht 
        net_ot = np.dot(self.W_o.T,St) + bo
        Ot = sigmoid(net_ot)
        return net_rt,rt,net_zt,zt,net_hht,hht,St,net_ot,Ot

2.4 反向传播算法

2.5.1 误差函数

这里，我选用的softmax函数交叉熵的误差计算，其中交叉熵的计算公式为：
$$J=-\sum _{i=1}^L{y}_{ri}ln(y_i)$$
其中$y_{ri}$是指真实标签值的第i个属性，$y_i$表示预测值的第i个属性，对于真实的标签$y_r$和预测输出的属性值$y$的属性的个数为L。

softmax的计算公式为：
$$y_i=\frac{e^{o_i}}{{\sum }_{j=1}^L{e}^{o_j}}$$
其中，$o_i$表示输出层计算出来向量o中的第i个属性。

$$\frac{\partial J}{\partial o_i}=y_i-y_{ri}$$

$$\frac{\partial J}{\partial o}=y-y_r$$
求导的具体过程可以参考我之前的文章深度学习——损失函数与梯度推导。

2.5.2 误差关于nethh(t)的梯度计算

$$\frac{\partial J}{\partial ne{t}_{hh}(t)}=\frac{\partial J}{\partial S_t}\ast \frac{\partial S_t}{\partial hh(t)}\ast \frac{\partial hh(t)}{\partial ne{t}_{hh}(t)}=\frac{\partial J}{\partial S_t}\ast z(t)\ast \frac{\partial hh(t)}{\partial ne{t}_{hh}(t)}$$
由已知得到，$hh(t)=tanh(ne{t}_{hh}(t))$，以及tanh的导数，则有:
$${\delta }_{ne{t}_{hh}}(t)=\frac{\partial J}{\partial ne{t}_{hh}(t)}=\frac{\partial J}{\partial S_t}\ast z(t)\ast (1-hh(t{)}^2)$$

2.5.4 误差关于netz(t)的梯度计算

$$\frac{\partial J}{\partial ne{t}_z(t)}=\frac{\partial J}{\partial S_t}\ast S_{t-1}\ast (-1)\ast \frac{\partial z(t)}{\partial ne{t}_z(t)}+\frac{\partial J}{\partial S_t}\ast hh(t)\ast \frac{\partial z(t)}{\partial ne{t}_z(t)}$$

根据已知得到$z(t)=sigmoid(ne{t}_z(t))$，以及sigmoid的导数，则有：
$${\delta }_{ne{t}_z}(t)=\frac{\partial J}{\partial ne{t}_z(t)}=\frac{\partial J}{\partial S_t}[hh(t)-S_{t-1}]\ast z(t)\ast (1-z(t))$$

2.5.5 误差关于netr(t)的梯度计算

$$\frac{\partial J}{\partial ne{t}_r(t)}=\frac{\partial J}{\partial S_t}\ast \frac{\partial J}{\partial hh(t)}\ast \frac{\partial hh(t)}{\partial r(t)}\ast \frac{\partial r(t)}{\partial ne{t}_r(t)}=\frac{\partial J}{\partial hh(t)}\ast \frac{\partial hh(t)}{\partial ne{t}_{hh}(t)}\ast \frac{\partial ne{t}_{hh}(t)}{\partial r(t)}\ast \frac{\partial r(t)}{\partial ne{t}_r(t)}$$

根据已知 $ne{t}_{hh}(t)=W_{hh}^T{X}_t+U_{hh}^T(r(t)\ast S_{t-1})$，以及上面的推导，有：
$$\frac{\partial ne{t}_{hh}(t)}{\partial r(t)}=U_{hh}{S}_{t-1}$$

又有，$r(t)=sigmoid(ne{t}_r(t))$，则原式子可以求导为：
$${\delta }_{ne{t}_r}(t)=\frac{\partial L}{\partial ne{t}_r(t)}=\frac{\partial L}{\partial ne{t}_{hh}(t)}\ast (U_{hh}{S}_{t-1})\ast r(t)\ast (1-r(t))$$
$${\delta }_{ne{t}_r}(t)=\frac{\partial L}{\partial ne{t}_r(t)}={\delta }_{ne{t}_{hh}}(t)\ast (U_{hh}{S}_{t-1})\ast r(t)\ast (1-r(t))$$

2.5.6 误差关于St-1的梯度运算

$$\frac{\partial J}{\partial S_{t-1}}=\frac{\partial J}{\partial S_t}\ast [(1-z(t))+\frac{\partial S_t}{\partial z(t)}\ast \frac{\partial z(t)}{\partial S_{t-1}}+\frac{\partial S_t}{\partial hh(t)}\frac{\partial hh(t)}{\partial S_{t-1}}]$$
其中
$$\frac{\partial z(t)}{\partial S_{t-1}}=\frac{\partial z(t)}{\partial ne{t}_z(t)}\ast \frac{\partial ne{t}_{z(t)}}{\partial S_{t-1}}=U_z\frac{\partial z(t)}{\partial ne{t}_z(t)}$$
其次
$$\frac{\partial hh(t)}{\partial S_{t-1}}=\frac{\partial hh(t)}{\partial ne{t}_{hh}(t)}\frac{\partial ne{t}_{hh}(t)}{\partial S_{t-1}}$$
其中：
$$\frac{\partial ne{t}_{hh}(t)}{\partial S_{t-1}}=U_{hh}r(t)+\frac{\partial ne{t}_{hh}(t)}{\partial r(t)}\ast \frac{\partial r(t)}{\partial ne{t}_r(t)}\ast \frac{\partial ne{t}_r(t)}{\partial S_{t-1}}=U_{hh}r(t)+U_r[\frac{\partial ne{t}_{hh}(t)}{\partial r(t)}\ast \frac{\partial r(t)}{\partial ne{t}_r(t)}]$$
将上述计算公式进行合并有：
$$\frac{\partial J}{\partial S_{t-1}}=\frac{\partial J}{\partial S_t}\ast [(1-z(t))+U_z\frac{\partial S_t}{\partial z(t)}\frac{\partial z(t)}{\partial ne{t}_z(t)}+\frac{\partial S_t}{\partial hh(t)}\frac{\partial hh(t)}{\partial ne{t}_{hh}(t)}(U_{hh}r(t)+U_r[\frac{\partial ne{t}_{hh}(t)}{\partial r(t)}\ast \frac{\partial r(t)}{\partial ne{t}_r(t)}])]$$
则，原式最终等于：
$${\delta }_{S_{t-1}}=\frac{\partial J}{\partial S_{t-1}}=\frac{\partial J}{\partial S_t}\ast (1-z(t))+(U_z{\delta }_{ne{t}_z}(t)+U_{hh}({\delta }_{ne{t}_{hh}}(t)\ast r(t))+(U_r{\delta }_{ne{t}_t}(t))$$

2.6 delta计算总结

$${\delta }_{ne{t}_{hh}}(t)=\frac{\partial J}{\partial ne{t}_{hh}(t)}=\frac{\partial J}{\partial S_t}\ast z(t)\ast (1-hh(t{)}^2)$$
$${\delta }_{ne{t}_z}(t)=\frac{\partial J}{\partial ne{t}_z(t)}=\frac{\partial J}{\partial S_t}[hh(t)-S_{t-1}]\ast z(t)\ast (1-z(t))$$
$${\delta }_{ne{t}_r}(t)=\frac{\partial L}{\partial ne{t}_r(t)}={\delta }_{ne{t}_{hh}}(t)\ast (U_{hh}{S}_{t-1})\ast r(t)\ast (1-r(t))$$
$${\delta }_{S_{t-1}}=\frac{\partial J}{\partial S_{t-1}}=\frac{\partial J}{\partial S_t}\ast (1-z(t))+(U_z{\delta }_{ne{t}_z}(t)+U_{hh}({\delta }_{ne{t}_{hh}}(t)\ast r(t))+(U_r{\delta }_{ne{t}_t}(t))$$

2.7、权重参数梯度

根据我们最初的设定，我们需要更新的包括$W_r,U_r，W_z,U_z，W_{hh},U_{hh}$。六个权重矩阵。

2.6.1 对于Wr权重矩阵的求导

回顾$W_r$出现的公式：
$$ne{t}_r(t)=W_r^T{X}_t+U_r^T{S}_{t-1}+B_r$$
容易就得到：
$$\frac{\partial J}{\partial W_r}=X_t{\delta }_{ne{t}_r}(t{)}^T$$

2.6.2 对于Ur权重的求导

回顾$U_r$出现的公式：
$$ne{t}_r(t)=W_r^T{X}_t+U_r^T{S}_{t-1}+B_r$$
容易就得到：
$$\frac{\partial J}{\partial U_r}=S_{t-1}{\delta }_{ne{t}_r}(t{)}^T$$

2.6.3 对于Br的求导

回顾$B_r$出现的公式：
$$ne{t}_r(t)=W_r^T{X}_t+U_r^T{S}_{t-1}+B_r$$
容易就得到：
$$\frac{\partial J}{\partial U_r}={\delta }_{ne{t}_r}(t)$$

2.6.4 对于Wz权重的求导

回顾$W_z$出现的公式：
$$ne{t}_z(t)=W_z^T{X}_t+U_z^T{S}_{t-1}+B_z$$
容易得到：
$$\frac{\partial J}{\partial W_z}=X_t{\delta }_{ne{t}_z}(t{)}^T$$

2.6.5 对于Uz权重的求导

回顾$U_z$出现的公式：
$$ne{t}_z(t)=W_z^T{X}_t+U_z^T{S}_{t-1}+B_z$$
容易得到：
$$\frac{\partial J}{\partial U_z}=S_{t-1}{\delta }_{ne{t}_z}(t{)}^T$$

2.6.6 对于Bz的求导

回顾$B_z$出现的公式：
$$ne{t}_z(t)=W_z^T{X}_t+U_z^T{S}_{t-1}+B_z$$
容易得到：
$$\frac{\partial J}{\partial B_z}={\delta }_{ne{t}_z}(t)$$

2.6.7 对于Whh权重的求导

回顾$W_{hh}$出现的公式：
$$ne{t}_{hh}(t)=W_{hh}^T{X}_t+U_{hh}^T(r(t)\ast S_{t-1})+B_{hh}$$
容易得到：
$$\frac{\partial J}{\partial W_{hh}}=X_t{\delta }_{ne{t}_{hh}}(t{)}^T$$

2.6.8 对于Uhh权重的求导

回顾$U_{hh}$出现的公式：
$$ne{t}_{hh}(t)=W_{hh}^T{X}_t+U_{hh}^T(r(t)\ast S_{t-1})+B_{hh}$$

容易得到：
$$\frac{\partial J}{\partial U_{hh}}=(r(t)\ast S_{t-1}){\delta }_{ne{t}_{hh}}^T$$

2.6.9 对于Bhh的求导

回顾$B_{hh}$出现的公式：
$$ne{t}_{hh}(t)=W_{hh}^T{X}_t+U_{hh}^T(r(t)\ast S_{t-1})+B_{hh}$$

容易得到：
$$\frac{\partial J}{\partial B_{hh}}={\delta }_{ne{t}_{hh}}$$

2.7 权重更新

根据上述推导过程，我们确定了每一个时刻$W_r,W_z,W_{hh},U_r,U_z,U_{hh},B_r,B_z,B_{hh}$的导数，下面我们在更新的时候，需要将所有的时刻的导数进行累加。则最终更新公式为：
$$W_r(new)=W_r-\alpha \sum _{t=1}^T{W}_r$$
$$W_z(new)=W_z-\alpha \sum _{t=1}^T{W}_z$$
$$W_{hh}(new)=W_{hh}-\alpha \sum _{t=1}^T{W}_{hh}$$
$$U_r(new)=U_r-\alpha \sum _{t=1}^T{U}_r$$
$$U_z(new)=U_z-\alpha \sum _{t=1}^T{U}_z$$
$$U_{hh}(new)=U_{hh}-\alpha \sum _{t=1}^T{U}_{hh}$$
$$B_r(new)=B_r-\alpha \sum _{t=1}^T{B}_r$$
$$B_z(new)=B_z-\alpha \sum _{t=1}^T{B}_z$$
$$B_{hh}(new)=B_{hh}-\alpha \sum _{t=1}^T{B}_{hh}$$

2.8 对于输出中的Wo和Bo的更新

我们先回顾一下$ne{t}_o$
$$ne{t}_o(t)=W_o^T{S}_t+B_o$$
在此之前，我们已经计算出来了，误差J关于$o$的梯度：
$$\frac{\partial J}{\partial o}=y-y_r$$
则误差J关于$ne{t}_o$的梯度为：
$${\delta }_{ne{t}_o}=\frac{\partial J}{\partial ne{t}_o}=\frac{\partial J}{\partial o}\ast f^{\prime }(o)=(y-y_r)\ast f^{\prime }(o)$$
则对于$W_o$的梯度为：
$$\frac{\partial J}{\partial W_o}=O{\delta }_{ne{t}_o}^T$$
对于$B_o$的梯度为：
$$\frac{\partial J}{\partial B_o}={\delta }_{ne{t}_o}$$

其中f是$ne{t}_o$所采用的激活函数。

在设计GRU网络的时候，可能在最后的时刻才会有输出，此时，对于Wo，Bo的更新不需要按照时刻进行累加的过程。如果每一个时刻都有输出，则需要进行累加之后，进行更新。