1.前馈网络存在的问题
梯度消失/梯度爆炸问题:在深度前馈网络中,当使用如sigmoid或tanh等饱和性激活函数时,网络在训练过程中可能会出现梯度消失的问题。这就导致了网络参数很难更新,进而影响网络的学习。相反,如果梯度过大,则可能会导致梯度爆炸,使得网络训练变得不稳定。
过拟合问题:前馈网络可能会过度拟合训练数据,这就使得网络在新的、未见过的数据上表现得不好。这个问题可以通过正则化技术,如权重衰减、Dropout等方法来缓解。
不能处理时序数据:前馈网络无法处理时序数据或者序列数据,因为它们没有记忆功能,无法保存先前的状态或输出。这对于理解语音、文本等顺序数据非常重要。而这一点可以通过引入RNN或LSTM等模型来解决。
2.序列数据
序列数据是一种数据类型,其中的元素存在特定的顺序。
3.循环神经网络(RNN)为什么能解决前馈网络中的问题
处理变长序列:RNN通过在序列的每个元素上一次处理一个元素来操作。这就意味着它可以处理任何长度的序列。
获取时间/空间的上下文信息:RNN的核心思想是有一个循环的隐藏状态,这个隐藏状态可以保存并更新过去的信息。因此,RNN在处理当前输入时,可以利用隐藏状态获取过去的信息。
4.卷积神经网络(CNN)与循环神经网络(RNN)的异同M
相同点:
深度学习模型:CNN和RNN都是深度学习的模型,使用了神经网络的结构,并通过反向传播和梯度下降等优化算法进行训练。
非线性映射:它们都可以学习输入和输出之间的复杂非线性映射。
参数共享:CNN和RNN都使用参数共享的策略。CNN在所有空间位置共享其核的参