深度学习笔记（三）：循环神经网络（RNN）

循环神经网络（RNN）的设计思想

RNN的设计思想基于以下几个核心概念：

1. 序列数据处理

序列数据的一个关键特点是数据点之间存在顺序关系。例如，在自然语言处理中，句子的单词顺序对于句子的含义至关重要。RNN通过在网络中引入循环连接来捕捉这种顺序关系，使得网络能够在处理当前数据点时考虑到之前的信息。

2. 记忆功能

RNN的循环结构使其具有记忆功能。在每个时间步骤，RNN都会更新其内部状态，这个状态可以看作是对之前信息的一种记忆。这种记忆使得RNN能够在未来的步骤中利用过去的信息。

独热编码（One-Hot Encoding）是一种将分类变量转换为数值变量的方法，它在循环神经网络（RNN）处理序列数据时扮演着重要的角色。在RNN中，独热编码通常用于处理输入数据中的离散特征，如单词、字符或其他类别标签。

独热编码的基本概念

独热编码是一种表示方法，其中每个类别都有一个唯一的二进制向量，该向量的长度等于类别的总数。在这个向量中，只有一个位置是1，其余位置都是0。这个1的位置表示当前的类别，而0的位置表示其他所有类别。

独热编码在RNN中的应用

在RNN中，独热编码主要用于以下几个方面：

1. 输入序列的表示

当处理文本数据时，每个单词或字符可以用一个整数索引来表示。为了将这些整数索引转换为RNN可以处理的格式，我们使用独热编码。这样，每个时间步的输入都是一个独热编码的向量，它表示当前单词或字符的类别。

2. 标签的表示

在训练RNN进行分类任务时，我们通常将类别标签转换为独热编码。例如，如果我们有一个三个类别的分类问题，那么每个类别的标签都可以用一个三维的独热编码向量表示。

独热编码的优势

• 无序性：独热编码不假设类别之间有任何顺序关系，这对于处理无序的分类数据非常有用。
• 易于计算：独热编码向量可以很容易地与RNN中的权重矩阵进行点积运算，这对于计算损失函数和反向传播至关重要。
• 清晰的类别表示：独热编码提供了一种清晰的方式来表示类别，使得每个类别都有一个明确的、非负的权重，这有助于模型学习。

 RNN前向传播过程

 

1. 初始化
   在开始处理序列之前，我们需要初始化隐藏状态。隐藏状态可以看作是网络的“记忆”，它将在序列的每个时间步长中被更新。

2. 输入处理
   对于序列中的每个时间步长，RNN接收两个输入：当前时间步的输入数据和前一个时间步的隐藏状态。这些输入数据通常表示为向量。

3. 加权和
   将当前输入和隐藏状态与权重矩阵相乘，得到一个新的候选隐藏状态。

4. 激活函数
   为了引入非线性，我们通常对候选隐藏状态应用一个激活函数，如tanh或ReLU。这有助于网络捕捉复杂的模式。

5. 更新隐藏状态
   新计算出的候选隐藏状态将替代旧的隐藏状态，成为下一个时间步的“记忆”。

6. 输出计算
   如果当前层是输出层，那么基于当前的隐藏状态，我们还会计算并输出一个结果。这个输出可以是下一个时间步的预测值或分类结果。

7. 重复过程
   这个过程会一直重复，直到处理完整个序列。

RNN的反向传播过程