AI作业11-RNN

1.前馈网络存在的问题

梯度消失/梯度爆炸问题：在深度前馈网络中，当使用如sigmoid或tanh等饱和性激活函数时，网络在训练过程中可能会出现梯度消失的问题。这就导致了网络参数很难更新，进而影响网络的学习。相反，如果梯度过大，则可能会导致梯度爆炸，使得网络训练变得不稳定。

过拟合问题：前馈网络可能会过度拟合训练数据，这就使得网络在新的、未见过的数据上表现得不好。这个问题可以通过正则化技术，如权重衰减、Dropout等方法来缓解。

不能处理时序数据：前馈网络无法处理时序数据或者序列数据，因为它们没有记忆功能，无法保存先前的状态或输出。这对于理解语音、文本等顺序数据非常重要。而这一点可以通过引入RNN或LSTM等模型来解决。

2.序列数据

序列数据是一种数据类型，其中的元素存在特定的顺序。

3.循环神经网络（RNN）为什么能解决前馈网络中的问题

处理变长序列：RNN通过在序列的每个元素上一次处理一个元素来操作。这就意味着它可以处理任何长度的序列。
获取时间/空间的上下文信息：RNN的核心思想是有一个循环的隐藏状态，这个隐藏状态可以保存并更新过去的信息。因此，RNN在处理当前输入时，可以利用隐藏状态获取过去的信息。

4.卷积神经网络（CNN）与循环神经网络（RNN）的异同M
相同点：

深度学习模型：CNN和RNN都是深度学习的模型，使用了神经网络的结构，并通过反向传播和梯度下降等优化算法进行训练。
非线性映射：它们都可以学习输入和输出之间的复杂非线性映射。
参数共享：CNN和RNN都使用参数共享的策略。CNN在所有空间位置共享其核的参