循环神经网络RNNCell单元详解及反向传播的梯度求导

摘要

本文给出循环神经网络RNNCell单元的定义公式, 并求解其在反向传播中的梯度.

本文给出的相关公式是编程导向的, 完整的, 可以直接用于代码实现, 已通过 Python 验证.

相关

配套代码, 请参考文章 :

纯Python和PyTorch对比实现循环神经网络RNN及反向传播

纯Python和PyTorch对比实现循环神经网络RNNCell及反向传播

Affine 变换的定义和梯度, 请参考:

affine/linear(仿射/线性)变换函数详解及全连接层反向传播的梯度求导

系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981

正文

1. RNNCell 定义

1.1 一次循环

考虑输入一个 3 阶张量 $X_{ijk}$, 该张量可以表示为 $i$ 个尺寸为 $j\times k$ 的矩阵 $X_{jk}$, 同时表明循环单元的输入尺寸为 $k$.

若单元输出尺寸为 $n$, 输入层矩阵 $X_{jk}$ ,变换矩阵为 $W_{nk}$, 偏置向量 $a_{1\times n}$, 变换后的矩阵为 $Y_{jn}$.

设初始隐含层矩阵为 $H_{jn}$, 变换矩阵为 $V_{n\times n}$, 偏置向量 $b_{1\times n}$, 变换后的矩阵为 $Z_{jn}$.

设激活函数为 tanh, 则一次 RNNCell 循环变换为 :
$$\begin{gathered} Y_{jn}=X_{jk}{W}_{nk}^T+a_{1\times n} \\ {Z}_{jn}=H_{jn}{V}_{nn}^T+b_{1\times n} \\ {A}_{jn}=Y_{jn}+Z_{jn} \\ {O}_{jn}=tanh(A_{jn}) \end{gathered}$$
将以上过程记为 :
$$O_{jn}=RNNCell(X_{jk},H_{jn})$$
循环到下一次时, 将 $O_{jn}$ 代入 $H_{jn}$, 与下一个 $X_{jk}$ 重新进行运算.

1.2 循环迭代

下面使用迭代记法表示 RNNCell 运算.

使用 $H_{jn}^{(0)}$ 表示初始隐含层矩阵, 对于 :
$$X_{ijk}=X_{jk}^{(1)},X_{jk}^{(2)},X_{jk}^{(3)},\cdots ,X_{jk}^{(i)}$$
则 :
$$\begin{gathered} H_{jn}^{(1)}=RNNCell(X_{jk}^{(1)},H_{jn}^{(0)}) \\ {H}_{jn}^{(2)}=RNNCell(X_{jk}^{(2)},H_{jn}^{(1)}) \\ {H}_{jn}^{(3)}=RNNCell(X_{jk}^{(3)},H_{jn}^{(2)}) \\ ⋮ \\ {H}_{jn}^{(i)}=RNNCell(X_{jk}^{(i)},H_{jn}^{(i-1)}) \end{gathered}$$

展开最后一层作为示例 :
$$\begin{gathered} Y_{jn}^{(i)}=X_{jk}^{(i)}{W}_{nk}^T+a_{1\times n} \\ {Z}_{jn}^{(i)}=H_{jn}^{(i-1)}{V}_{nn}^T+b_{1\times n} \\ {A}_{jn}^{(i)}=Y_{jn}^{(i)}+Z_{jn}^{(i)} \\ {H}_{jn}^{(i)}=tanh(A_{jn}^{(i)}) \end{gathered}$$
在迭代的过程中, $W_{nk}^T,V_{nn}^T,a_{1\times n},b_{1\times n}$ 都是共享的, 不变的.

1.3 张量公式

使用 3 阶张量表示 :
$$H_{ijn}=RNNCel{l}^{(i)}(X_{ijk},H_{jn}^{(0)})$$
RNNCell 的上标 $(i)$ 表示经过 $i$ 次循环迭代运算.

注意, 经过 RNNCell 运算后, 输入尺寸为 $i\times j\times k$ 的张量 $X_{ijk}$ 将输出尺寸为 $i\times j\times n$ 的张量 $H_{ijn}$.

2. 反向传播

考虑输入一个 3 阶张量 $X_{ijk}$, 经过 RNNCell 运算后, 输出 3 阶张量 $H_{ijn}$, 往前 forward 传播得到误差值 error ( 标量 e ), e 对 $H_{ijn}$ 的梯度 $\nabla e_{(H_{ijn})}$ 已由上游给出, 求 e 对 $X_{ijk}$ 的梯度.
$$\begin{gathered} H_{ijn}=RNNCel{l}^{(i)}(X_{ijk},H_{jn}^{(0)}) \\ e=forward(H_{ijn}) \end{gathered}$$
为了避免符号混乱, 将上游传递的梯度记为 $\nabla e_{(Q_{ijn})}=\nabla e_{(H_{ijn})}$, $\nabla e_{(H_{ijn})}$ 用于迭代计算的中间结果.

2.1 关于 H 的梯度

从 RNNCell 运算的定义可以看出, 每一次循环迭代运算都是由 Affine 运算和激活函数运算组合而成.

对于 :
$$y=tanh(x)=e^{}$$