门控循环单元GRUCell详解及反向传播的梯度求导

摘要

本文给出门控循环单元GRUCell的定义公式, 并求解其在反向传播中的梯度.

给出的相关公式是完整的, 编程导向的, 可以直接用于代码实现, 已通过 Python 验证.

相关

配套代码, 请参考文章 :

纯 Python 和 PyTorch 对比实现门控循环单元 GRU 及反向传播

Affine 变换的定义和梯度, 请参考文章 :

affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导

系列文章索引 :

https://blog.csdn.net/oBrightLamp/article/details/85067981

正文

1. GRUCell 定义

1.1 一次迭代

n考虑输入一个 3 阶张量 $X_{lmn}$, 该张量可以表示为 $l$ 个尺寸为 $m\times n$ 的矩阵 $X_{mn}$, 同时表明循环单元的输入尺寸为 $n$.

设第一个输入矩阵为 $X_{mn}^{(1)}$ , 对应的 3 个变换矩阵分别为 $W_r,W_u,W_c$, 偏置向量为 $a_r,a_u,a_c$ .

设初始隐含层矩阵为 $H_{mr}^{(0)}$, 对应的 2 个变换矩阵分别为 $V_r,V_u,V_c$, 偏置向量为 $b_r,b_u,b_c$ .

则一次 GRUCell 循环变换为 :
$$\begin{gathered} A_r=X^{(1)}{W_r}^T+a_r+H^{(0)}{V}_r^T+b_r \\ {A}_u=X^{(1)}{W_u}^T+a_u+H^{(0)}{V}_u^T+b_u \\ {g}_r=sigmoid(A_r) \\ {g}_u=sigmoid(A_u) \\ {A}_c=X^{(1)}{W_c}^T+a_c+g_r\odot (H^{(0)}{V}_c^T+b_c) \\ {g}_c=tanh(A_c) \\ {H}^{(1)}=(1-g_u)\odot g_c+g_u\odot H^{(0)} \end{gathered}$$
上式中的 $\odot$ 表示 element-wise 元素积, 将以上过程记为 :
$$H^{(1)}=GRUCell(X^{(1)},H^{(0)})$$
循环到下一次时, 将 $H^{(1)},C^{(1)}$ 代入 $H^{(0)},C^{(0)}$ 的位置, 与下一个 $X^{(2)}$ 重新进行运算.

1.2 循环迭代

下面使用迭代记法表示 GRUCell 运算.

使用 $H^{(0)}$ 表示初始隐含层矩阵, 对于 :
$$X_{lmn}=X_{mn}^{(1)},X_{mn}^{(2)},X_{mn}^{(3)},\cdots ,X_{mn}^{(l)}$$
则 :
$$\begin{gathered} H^{(1)}=GRUCell(X^{(1)},H^{(0)}) \\ {H}^{(2)}=GRUCell(X^{(2)},H^{(1)}) \\ {H}^{(3)}=GRUCell(X^{(3)},H^{(2)}) \\ ⋮ \\ {H}^{(l)}=GRUCell(X^{(l)},H^{(l-1)}) \end{gathered}$$

展开最后一层作为示例 :
A r = X ( l ) W r T + a r + H ( l − 1 ) V r T + b r A u = X ( l ) W u T + a u + H ( l − 1 ) V u T + b u g r = s i g m o i d ( A r ) g u