人工智能第十一次作业

1、前馈网络存在的问题

连接在层与层之间，每层节点间无连接。输入和输出的维数固定，不能任意改变。无法处理时序数据。

2、序列数据

有先后次序的一组数据，可分为时间序列，符号序列和生物序列。

3、循环神经网络（RNN）为什么能解决前馈网络中的问题

循环神经网络是一类处理序列数据时所采用的网络结构，它会在学习中记住部分已经出现的信息，并利用所记住的信息影响后续结点的输出。

4、卷积神经网络（CNN）与循环神经网络（RNN）的异同

相同：都是深度学习的主流神经网络结构。

不同：卷积神经网络的输入数据是空间数据，并且是独立的，输入的大小也是固定的，用于计算机视觉方面。循环神经网络的输入数据是序列数据，且是相关的，输入序列变长，用于自然语言处理方面。

5、沿时间反向传播算法（BPTT）

RNN利用沿时间反向传播算法来训练模型参数。

6、序列到序列模型 seq2seq

序列到序列是一种条件的序列生成问题，使用两个循环神经网络来分别进行编码和解码。

7、梯度消失、梯度爆炸

梯度消失是指当神经网络层数增多时，越靠近输入层的层之间的权重无法得到有效修正（导数趋于0），从而得到神经网络效果不好。由于反向传播算法，各层之间的权重系数是通过导数来修正的。而当网络层数增多时，由于链式法则，当导数值小于1时（如sigmoid函数），越靠近输入层的导数越接近0，从而权重系数无法得到有效修正。

梯度爆炸指神经网络训练过程中大的误差梯度不断累积，导致模型权重出现重大更新。会造成模型不稳定，无法利用训练数据学习。