递归神经网络 RNN

递归神经网络（Recurrent Neural Network，RNN）是一种具有循环连接的神经网络结构，主要用于处理序列数据。它的原理是通过将当前时刻的输入和上一时刻的隐藏状态进行组合，来预测下一时刻的输出。

RNN的基本结构包括输入层、隐藏层和输出层。隐藏层中的神经元不仅接收当前时刻的输入，还接收上一时刻隐藏层的输出作为输入。这种循环连接使得RNN能够对序列数据进行建模，捕捉到数据中的时序信息。

在RNN中，每个时间步都有一个隐藏状态，用于存储过去时间步的信息。隐藏状态可以看作是网络对过去信息的记忆。通过不断迭代更新隐藏状态，RNN可以在处理序列数据时保留并利用之前的信息。

RNN 前向传播

在前向传播过程中，RNN会按照时间步骤依次处理输入序列。对于每个时间步骤t，RNN会根据当前输入和前一时刻的隐藏状态计算当前时刻的隐藏状态和输出。具体计算过程如下：

• 输入层到隐藏层：将当前时间步骤的输入和前一时刻的隐藏状态作为输入，通过权重矩阵和激活函数计算得到当前时刻的隐藏状态。
• 隐藏层到输出层：将当前时刻的隐藏状态通过权重矩阵和激活函数计算得到当前时刻的输出。

RNN的前向传播过程可以用以下公式表示：
h0 = f(W_hh * h_{t-1} + W_xh * x0_t)
y_t = g(W_hy * h_t)

其中，h0表示当前时刻的隐藏状态，x0_t表示当前时刻的输入，y_t表示当前时刻的输出。W_hh、W_xh和W_hy分别表示隐藏状态之间、输入与隐藏状态之间、隐藏状态与输出之间的权重矩阵。f和g是激活函数。

RNN的训练过程通常使用反向传播算法和梯度下降法来更新权重矩阵，以最小化预测输出与真实输出之间的误差。

RNN 反向传播

在反向传播过程中，我们需要计算损失函数对于各个参数的梯度，并更新参数以最小化损失。由于RNN的循环结构，我们需要在每个时间步骤上进行反向传播，并将梯度进行累加。

• 计算输出层的梯度：根据损失函数和输出层的输出，计算输出层的梯度。
• 反向传播到隐藏层：将输出层的梯度通过权重矩阵和激活函数计算得到隐藏层的梯度。
• 反向传播到前一时刻：将隐藏层的梯度传递到前一时刻的隐藏状态，并继续进行反向传播，直到传播到第一个时间步骤。
• 计算参数梯度并更新参数：根据各个时间步骤上的梯度，计算参数的梯度，并使用优化算法（如梯度下降）更新参数。

LSTM 网络架构

LSTM（Long Short-Term Memory）是一种常用的循环神经网络（RNN）架构，用于处理序列数据。它的设计目的是解决传统RNN在长序列训练中容易出现梯度消失或梯度爆炸的问题。

LSTM通过引入门控机制来控制信息的流动，主要包括遗忘门、输入门和输出门。下面是LSTM的基本原理：

1. 遗忘门（Forget Gate）：决定是否从细胞状态中丢弃信息。它通过一个sigmoid函数来输出一个0到1之间的值，表示保留多少旧信息。0表示完全忘记，1表示完全保留。

2. 输入门（Input Gate）：决定是否将新的信息添加到细胞状态中。它通过一个sigmoid函数来输出一个0到1之间的值，表示保留多少新信息。0表示完全忽略，1表示完全保留。

3. 更新细胞状态（Update Cell State）：根据输入门和遗忘门的输出，更新细胞状态。首先，通过一个tanh函数生成一个新的候选值向量，然后使用输入门的输出和候选值向量来更新细胞状态。

4. 输出门（Output Gate）：决定从细胞状态中输出多少信息。它通过一个sigmoid函数来输出一个0到1之间的值，表示输出多少信息。然后，将细胞状态通过一个tanh函数进行处理，并与输出门的输出相乘，得到LSTM的输出。

LSTM的门控机制使得它能够更好地捕捉长期依赖关系，并且能够有效地处理序列数据。它在自然语言处理、语音识别等领域取得了很好的效果。