【22-23 春学期】AI作业11-RNN

1.前馈网络存在的问题

前馈网络是一种单向传递信息的神经网络，它不能处理序列数据，也不能捕捉时间序列数据中的依赖关系。

2.序列数据

序列数据指的是一种按照先后顺序排列的离散数据。只要类似这种一串的数据，前后有顺序关系的数据都叫序列数据。

3.循环神经网络（RNN）为什么能解决前馈网络中的问题

RNN是一种能够处理序列数据的神经网络，它通过引入循环结构来捕捉时间序列数据中的依赖关系。

4.卷积神经网络（CNN）与循环神经网络（RNN）的异同

CNN和RNN都是人工神经网络的一种。CNN主要用于处理图像数据，它通过卷积层来提取图像中的局部特征；而RNN主要用于处理序列数据，它通过循环结构来捕捉时间序列数据中的依赖关系。

5.沿时间反向传播算法（BPTT）

BPTT是一种用于训练循环神经网络的算法，它通过沿时间展开网络结构，并使用反向传播算法来更新网络权重。

6.序列到序列模型 seq2seq

seq2seq是一种用于处理序列到序列问题的模型，它由编码器和解码器两部分组成。编码器将输入序列编码成一个固定长度的向量，解码器再将该向量解码成输出序列。

7.梯度消失、梯度爆炸

梯度消失和梯度爆炸是深度学习中常见的两个问题。梯度消失指的是在反向传播过程中，梯度值逐渐变小，导致网络权重更新缓慢；梯度爆炸指的是在反向传播过程中，梯度值逐渐变大，导致网络权重更新不稳定。