AI 作业 11-RNN

1、前馈网络存在的问题：

前馈网络是一种将输入信号传递到输出的简单网络结构，无法处理序列数据，并且缺乏对上下文信息的建模能力。这导致前馈网络在处理自然语言、语音识别、时间序列等任务时遇到困难。

 

2、序列数据：

序列数据是按照一定的顺序排列的数据集合，其中每个数据点都依赖于其之前的数据点。常见的序列数据包括时间序列（如股票价格、天气数据）、自然语言（如句子、文本）以及音频数据等。

 

3、循环神经网络（RNN）为什么能解决前馈网络中的问题：

RNN是一类具有循环连接的神经网络，允许信息在网络中以循环的方式传播。这使得RNN能够处理序列数据，并可以自动捕捉到各个时间步之间的上下文关系。通过记忆先前的信息，RNN能够更好地处理序列数据的依赖性，并在任务中生成更准确的预测。

 

4、卷积神经网络（CNN）与循环神经网络（RNN）的异同：

异同点：

- CNN主要用于处理空间结构化数据，如图像，而RNN主要用于处理序列数据，如语音、时间序列。

- CNN能够并行处理输入数据，不需要按照时间顺序进行处理，而RNN需要逐个时间步骤处理输入数据。

- CNN通过卷积和池化等操作来捕捉局部特征，而RNN通过循环层来捕捉序列中的上下文信息。

- CNN中的权重共享是在卷积层中进行的，而RNN中的权重共享是在时间步骤中进行的。

 

相同点：

- CNN和RNN都是常见的深度学习模型，可以处理复杂的非线性数据建模任务。

- CNN和RNN结构上都具有层级结构，可以通过堆叠多个层来增加模型的复杂性和表示能力。

- CNN和RNN都可以通过反向传播算法进行训练，以优化模型参数。

 

5、沿时间反向传播算法（BPTT）：

沿时间反向传播算法（BPTT）是一种用于训练循环神经网络（RNN）的反向传播算法。BPTT的主要思想是将RNN展开成多个时间步骤的链式结构，并通过时间步骤逐个计算并更新参数。这样可以利用梯度信息从后向前传播，以进行参数更新。BPTT通过将误差在时间上展开，使得RNN能够学习到序列数据中的长程依赖关系。

 

6、序列到序列模型（seq2seq）：

序列到序列模型（seq2seq）是一种循环神经网络（RNN）架构，广泛应用于序列转换任务，如机器翻译、对话生成等。seq2seq模型由编码器（encoder）和解码器（decoder）组成，编码器将输入序列转化为固定维度的上下文向量（也称为语义向量），解码器则根据该向量生成输出序列。seq2seq模型通过学习从输入序列到输出序列的映射关系，可以用于处理各种序列数据的转换任务。

 

7、梯度消失和梯度爆炸：

梯度消失是指在反向传播过程中，较小的梯度在每一层中逐渐缩小，导致较早的层无法得到充分更新，从而影响模型的训练效果。梯度爆炸则是指梯度在反向传播过程中逐渐增大，导致数值溢出，同样会导致模型无法有效地进行训练。这些问题特别在深层神经网络和RNN中容易出现。为解决这些问题，可以采取一些技巧，如合适的参数初始化、激活函数的选择、梯度裁剪等，以确保梯度在训练过程中既不消失也不爆炸。