基本RNN

循环神经网络（RNN）

简介

循环神经网络（Recurrent Neural Network，RNN）是一种具有记忆能力的神经网络模型，主要用于处理时间序列数据，如语音信号、文本等。

要点

1. 循环结构：RNN网络在每个时间步上接收前一个时间步的隐藏状态信息作为输入，通过信息的传递和累积来捕捉序列数据中的长期依赖关系。
2. 隐藏状态：RNN网络在时间序列上维护一个隐藏状态$h_t$，用于表示从前面时间步到当前时间步的信息。
3. 参数共享：RNN网络的参数是共享的，即在每个时间步上，网络使用相同的权重矩阵进行计算。
4. 反向传播算法：RNN网络可以通过反向传播算法来进行训练，在反向传播算法中，通过计算损失函数对RNN网络中的参数进行更新，从而不断优化网络模型。

流程

RNN是一种序列模型，它能够学习到序列数据中的时间依赖关系。RNN的基本思想是在每个时间步上利用当前时刻的输入$x_t$和前一时刻的隐藏状态$h_{t-1}$，来计算当前时刻的输出$h_t$和新的隐藏状态$h_t$，如下所示：

$$h_t=f(x_t,h_{t-1})$$

其中，$f$表示一个非线性函数，例如$tanh$、$sigmoid$等，在实际中，我们可以采用LSTM或者GRU等更加复杂的循环单元结构（例如引入门控机制），来提高模型的性能。

RNN的具体流程如下：

1. 输入层：输入层接收一个序列，每个时刻对应一个输入$x_t$。假设序列长度为$T$，则第$t$时刻的输入为$x_t$。

2. 隐藏层：在每个时刻$t$，隐藏层根据当前输入$x_t$和前一时刻的隐藏状态$h_{t-1}$，更新当前时刻的隐藏状态$h_t$，其计算方式可以表示为：

   $$h_t=f(W_{hx}{x}_t+W_{hh}{h}_{t-1}+b)$$

   其中，$W_{hx}$和$W_{hh}$分别为输入权重矩阵和隐层权重矩阵，$b$为偏置向量。

3. 输出层：在每个时刻$t$，输出层利用当前时刻的隐藏状态$h_t$，计算当前时刻的输出$\widehat{y_t}$：

   $$\widehat{y_t}=g(W_{yh}{h}_t+b_y)$$

   其中，$W_{yh}$为输出权重矩阵，$b_y$为偏置向量，$g$为输出激活函数（可根据不同的任务选择不同的激活函数，例如$sigmoid$、$softmax$等）。

4. 反向传播算法：通过计算模型输出和真实标签的误差来更新模型参数，使模型的预测结果更加接近于真实标签。

综上所述，RNN通过输入$x_t$在每个时刻产生一个输出$\widehat{y_t}$，同时利用隐藏状态$h_t$来学习序列数据中的时间依赖关系。

存在的问题

1. 梯度消失和梯度爆炸

RNN的参数在每个时间步都是共享的，因此反向传播算法在进行误差反向传播时，需要不断地对参数进行链式求导。这样会导致随着时间步的增加，梯度值不断变小或变大，可能会出现梯度消失或梯度爆炸的问题，从而导致模型无法收敛或收敛速度非常缓慢。

2. 长依赖问题

RNN的计算能力受到时间步数的限制，当时间步数超过一定阈值时，RNN可能无法捕捉到数据中的长期依赖关系，从而影响模型的泛化能力。

3. 训练效率低下

由于RNN需要在每个时间步都进行前向传播和反向传播计算，因此训练效率较低。

为了解决这些问题，人们提出了一系列改进的RNN模型，例如LSTM、GRU等，通过引入门控机制、记忆单元等结构，在一定程度上解决了梯度消失、梯度爆炸和长依赖等问题。此外，人们还提出了一些优化算法，例如梯度裁剪、正则化等方法，也可以在一定程度上缓解RNN网络的问题。

记忆容量问题

随着$h_t$不断累积存储新的输入信息，会发生饱和现象

---

梯度裁剪

梯度裁剪是一种在深度学习中常用的优化技术，它的目的是防止梯度爆炸和消失。在训练深度神经网络时，由于反向传播算法会计算出每个参数对应的梯度，当网络比较深或者参数比较多时，梯度可能会变得非常大或非常小，这就可能导致训练不稳定甚至无法收敛。

梯度裁剪的做法是对模型的所有参数的梯度进行限制，确保它们的范数不超过一个固定的阈值。如果某个参数的梯度的范数超过了阈值，则将其重新缩放到范数等于阈值，这样可以有效地控制梯度的变化范围，防止梯度出现异常值。

通常情况下，梯度裁剪的阈值是一个超参数，需要手动设定。根据经验，较常见的阈值是1.0或5.0。