一文读懂RNN

RNN的基本结构

• RNN的基本结构如图所示，每个时间步t接收两个输入：
  • $x_t$：当前时间步的输入。
  • $s_{t-1}$：上一个时间步的隐藏状态。
• RNN单元会输出：
  • $s_t$：当前时间步的隐藏状态，该状态将传递给下一个时间步。
  • $o_t$：当前时间步的输出（可选）。

隐藏状态的更新

隐藏状态的更新公式是RNN的核心，它决定了如何将当前输入和上一个时间步的隐藏状态结合起来，生成当前时间步的隐藏状态。公式如下：
$s_t=\varphi (U_t{x}_t+W_t{s}_{t-1}+b_s)$
其中
- $U_t$：输入到隐藏状态的权重矩阵。
- $W_t$：隐藏状态到隐藏状态的权重矩阵。
- $b_w$：隐藏层的偏置向量。
- $\varphi$：激活函数。

• 推导过程：
  • 输入到隐藏状态的线性变换：
    $W_t{s}_{t-1}$这一步将当前时间步骤的输入$x_t$ 通过权重矩阵 $U_t$ 进行线性变换。
  • 隐藏状态到隐藏状态的线性变换：
    $W_t{s}_{t-1}$这一步将上一个时间步的隐藏状态$s_{t-1}$ 通过权重矩阵 $W_t$进行线性变换。
  • 偏置项的添加：
    $U_t{x}_t+W_t{s}_{t-1}+b_s$将上述两个线性变换的结果相加，并加上偏置项
  • 激活函数的应用：
    最后，通过激活函数$s_t=\varphi (U_t{x}_t+W_t{s}_{t-1}+b_s)$引入非线性，得到当前时间步的隐藏状态

输出的计算

如果RNN单元有输出$o_t$，那么它通常是由当前的隐藏状态$s_t$经过线性变换得到的。公式如下：
$o_t=V_t{s}_t+b_y$
其中：
- $V_t$：隐藏状态到输出的权重矩阵。
- $b_y$：输出层的偏置向量。

• 推导过程：
  • 隐藏层到输出的线性变换：
    $V_t{s}_t$这一步将当前时间步骤的输入$s_t$ 通过权重矩阵 $V_t$ 进行线性变换。
  • 偏置项的添加：
    $V_t{s}_t+b_y$将上述线性变换的结果加上偏置项 $b_y$

训练过程

在训练过程中，RNN的参数（权重矩阵和偏置向量）是通过反向传播算法（Backpropagation Through Time, BPTT）根据损失函数对这些参数的梯度进行更新的。BPTT算法将整个序列展开成一个深层的前馈神经网络，然后使用标准的反向传播算法来计算梯度。
4.1 损失函数
假设我们有一个序列数据{x_{1},x_{2},…,x_{T}}和对应的目标序列{o_{1},o_{2},…,o_{T}}，损失函数$L$ 可以定义为：
$L_t={\sum }_{t=1}^T{L}_t$
其中$L_t$是在时间步 t的损失，通常使用交叉熵损失函数：
$L_t={\sum }_{i=1}^C{o}_t^{(i)}{\log }_{}{\hat{o}}_t^{(i)}$
4.2 反向传播
为了更新参数，我们需要计算损失函数$L$ 对各参数的梯度。我们使用链式法则来计算这些梯度。
- 输出层的梯度：
$\frac{\vartheta L_t}{\vartheta V_t}=\frac{\vartheta L_t}{\vartheta o_t}\frac{\vartheta o_t}{\vartheta V_t}$
$\frac{\vartheta L_t}{\vartheta b_y}=\frac{\vartheta L_t}{\vartheta o_t}\frac{\vartheta o_t}{\vartheta b_y}$
- 隐藏层的梯度：
ϑ L t ϑ s t