人工智能作业11

1.前馈网络存在的问题
梯度消失/梯度爆炸问题：在深度前馈网络中，当使用如sigmoid或tanh等饱和性激活函数时，网络在训练过程中可能会出现梯度消失的问题。这就导致了网络参数很难更新，进而影响网络的学习。相反，如果梯度过大，则可能会导致梯度爆炸，使得网络训练变得不稳定。

过拟合问题：前馈网络可能会过度拟合训练数据，这就使得网络在新的、未见过的数据上表现得不好。这个问题可以通过正则化技术，如权重衰减、Dropout等方法来缓解。

不能处理时序数据：前馈网络无法处理时序数据或者序列数据，因为它们没有记忆功能，无法保存先前的状态或输出。这对于理解语音、文本等顺序数据非常重要。而这一点可以通过引入RNN或LSTM等模型来解决。

2.序列数据
序列数据是一种数据类型，其中的元素存在特定的顺序。

3.循环神经网络（RNN）为什么能解决前馈网络中的问题
处理变长序列：RNN通过在序列的每个元素上一次处理一个元素来操作。这就意味着它可以处理任何长度的序列。
获取时间/空间的上下文信息：RNN的核心思想是有一个循环的隐藏状态，这个隐藏状态可以保存并更新过去的信息。因此，RNN在处理当前输入时，可以利用隐藏状态获取过去的信息。
4.卷积神经网络（CNN）与循环神经网络（RNN）的异同M
相同点：

深度学习模型：CNN和RNN都是深度学习的模型，使用了神经网络的结构，并通过反向传播和梯度下降等优化算法进行训练。
非线性映射：它们都可以学习输入和输出之间的复杂非线性映射。
参数共享：CNN和RNN都使用参数共享的策略。CNN在所有空间位置共享其核的参数，RNN在时间步骤中共享其参数。
不同点：

数据类型：CNN主要用于处理网格型数据，如图像和音频。RNN主要处理序列数据，如时间序列和文本。
结构：CNN有卷积层和池化层，主要用于局部感知和降维。RNN有循环层，可以处理序列数据，能够在时间步骤中传递信息。
空间/时间依赖性：CNN通过使用卷积核来学习局部特征，适合于处理固定长度的输入（如固定大小的图像），对空间依赖性有很好的处理能力。RNN可以处理任何长度的序列，对于长期的时间依赖性，标准的RNN处理起来有困难，但LSTM或GRU等RNN的变体可以很好地解决这个问题。
并行计算：CNN的前向和后向传播都可以高效地并行化，因为其卷积操作在所有位置都是独立的。但RNN由于其序列依赖性，在时间步骤上难以进行有效的并行化。
5.沿时间反向传播算法（BPTT）
沿时间反向传播（Backpropagation Through Time, BPTT）是一种用于训练循环神经网络（RNN）的方法。它是标准反向传播算法的一个特例，适用于具有循环（即反馈连接）的网络。

6.序列到序列模型 seq2seq
序列到序列模型是一种在深度学习中用于生成序列的模型，特别适用于那些输入和输出都是序列的问题，如机器翻译、语音识别、文本摘要等。由编码器和解码器两部分组成。

7.梯度消失、梯度爆炸
梯度消失：当网络深度增加时，网络中的梯度可能会变得非常小。这意味着在反向传播过程中，当梯度传播到靠近输入层的网络部分时，它们的值可能已经变得非常接近于零。结果是，这些层的权重几乎没有更新，使得训练过程变得非常慢或者完全停止。

梯度爆炸：与梯度消失相反，梯度爆炸是指在训练过程中，梯度变得非常大，这会导致权重更新过大，使得网络不稳定。